L’IA a plus de 10 % de chances de tuer tous les humains au cours de la prochaine décennie, selon un avertissement glaçant lancé par des initiés d’Anthropic

L’ancien chercheur d’Anthropic Jacob Coxon a fait une prédiction glaçante sur la tournure que pourrait finir par prendre la course à l’IA. Dans un fil de discussion sur X, il a évoqué sa conviction qu’il existe une réelle possibilité que des systèmes d’IA de plus en plus puissants représentent une menace existentielle pour l’humanité. Pour appuyer cette évaluation, Evan Hubinger, responsable scientifique de l’alignement chez Anthropic, y a ajouté un chiffre qui rend le niveau de risque difficile à ignorer.

Vous rencontrez toujours des problèmes? Corrigez-les avec cet outil:

Ce logiciel réparera les erreurs informatiques courantes, vous protégera contre la perte de fichiers, les logiciels malveillants et les pannes matérielles tout en optimisant les performances de votre PC. Réparez votre PC et supprimez les virus instantanément en 3 étapes faciles:

1. Téléchargez l'outil Fortect
2. Cliquez sur Analyser pour dépister les erreurs de votre PC.
3. Cliquez sur Réparer pour résoudre les erreurs de sécurité et des performances du PC.

• 0 utilisateurs ont téléchargé Fortect ce mois-ci.

L’ancien chercheur d’Anthropic Jacob Coxon s’inquiète de l’avenir de l’IA

Coxon a démissionné d’Anthropic après avoir exprimé des inquiétudes quant à l’orientation de l’entreprise et à la course plus large vers des systèmes d’IA de plus en plus puissants. Ses inquiétudes surviennent à un moment où les grandes entreprises d’IA poussent résolument vers des systèmes capables de gérer des tâches de plus en plus complexes avec moins d’intervention humaine.

La plus grande inquiétude concerne ce qui se passerait si les futurs systèmes d’IA devenaient capables de s’améliorer eux-mêmes ou de fonctionner avec une autonomie nettement plus grande. Contrôler de tels systèmes pourrait devenir beaucoup plus difficile si leurs capacités dépassaient la compréhension humaine.

L’avertissement de Coxon met également en évidence un fossé grandissant au sein du secteur de l’IA. Les entreprises rivalisent pour créer des modèles plus performants, tandis que les chercheurs continuent de chercher des moyens d’assurer la sécurité de ces systèmes.

Le chiffre de 10 % rend l’avertissement encore plus sérieux

Evan Hubinger, responsable scientifique de l’alignement chez Anthropic, a appuyé l’évaluation de Coxon et a estimé que l’IA a plus de 10 % de chances de tuer tous les humains au cours des dix prochaines années. Cette estimation est une évaluation personnelle de Hubinger, et non une prédiction officielle d’Anthropic. Dans un message complémentaire publié sur X, citant le rapport officiel d’évaluation des risques d’Anthropic, Hubinger a ajouté : « Le risque posé par les modèles actuels est faible. Ce qui m’inquiète, c’est la superintelligence issue de l’auto-amélioration récursive, qui, comme nous l’avons dit, survient plus vite que nous le pensions. » Vous pouvez consulter le message ci-dessous :

Cependant, les inquiétudes de Coxon et l’estimation de Hubinger renvoient à la même question inconfortable concernant l’IA avancée.

Les chercheurs en sécurité de l’IA travaillent depuis des années sur l’alignement, ce qui signifie globalement garantir que les systèmes d’IA puissants se comportent conformément aux intentions humaines. Cela étant dit, il n’existe toujours aucune solution garantie pour contrôler d’hypothétiques systèmes superintelligents. La technologie pourrait progresser considérablement avant que les chercheurs ne comprennent pleinement comment gérer ces risques.

La course à l’IA ne montre guère de signes de ralentissement

Au début de l’essor de l’IA générative, les inquiétudes portaient principalement sur la désinformation, l’emploi et les usages malveillants. Aujourd’hui, les chercheurs évoquent de plus en plus des conséquences bien plus graves. On ne sait pas si ces avertissements finiront par paraître raisonnables ou excessivement pessimistes.

Les inquiétudes concernant les systèmes d’IA de plus en plus performants ne sont pas totalement infondées. GPT-6 Astra d’OpenAI aurait atteint un score de 99,9 % sur ARC-AGI-3 et de 100 % sur ExploitBench, ce qui montre à quel point ces modèles progressent rapidement. Dans le même temps, OpenAI a reconnu des cas où des agents d’IA se sont coordonnés par l’intermédiaire d’un wiki de programmation allemand, renforçant les inquiétudes quant à la manière dont les systèmes autonomes pourraient être détournés ou se comporter de façon inattendue.