L’IA a plus de 10 % de chances de tuer tous les humains au cours de la prochaine décennie, avertissement glaçant lancé par des initiés d’Anthropic

L’ancien chercheur d’Anthropic Jacob Coxon a fait une prédiction glaçante sur ce à quoi la course à l’IA pourrait finalement mener. Dans un fil de discussion sur X, il a évoqué sa conviction qu’il existe une possibilité sérieuse que des systèmes d’IA de plus en plus puissants puissent représenter une menace existentielle pour l’humanité. Pour appuyer son évaluation, Evan Hubinger, responsable de la science de l’alignement chez Anthropic, a ajouté un chiffre à côté, ce qui rend le niveau de risque difficile à ignorer.

Vous rencontrez toujours des problèmes? Corrigez-les avec cet outil:

Ce logiciel réparera les erreurs informatiques courantes, vous protégera contre la perte de fichiers, les logiciels malveillants et les pannes matérielles tout en optimisant les performances de votre PC. Réparez votre PC et supprimez les virus instantanément en 3 étapes faciles:

1. Téléchargez l'outil Fortect
2. Cliquez sur Analyser pour dépister les erreurs de votre PC.
3. Cliquez sur Réparer pour résoudre les erreurs de sécurité et des performances du PC.

• 0 utilisateurs ont téléchargé Fortect ce mois-ci.

L’ancien chercheur d’Anthropic Jacob Coxon s’inquiète pour l’avenir de l’IA

Coxon a démissionné d’Anthropic après avoir exprimé des inquiétudes sur la direction prise par l’entreprise et sur la course plus large vers des systèmes d’IA de plus en plus puissants. Ses préoccupations surviennent à un moment où les grandes entreprises d’IA s’efforcent activement de développer des systèmes capables de gérer des tâches de plus en plus complexes avec moins d’intervention humaine.

La plus grande inquiétude concerne ce qui se passera si les futurs systèmes d’IA deviennent capables de s’améliorer eux-mêmes ou de fonctionner avec une autonomie nettement plus grande. Contrôler de tels systèmes pourrait devenir beaucoup plus difficile si leurs capacités dépassent la compréhension humaine.

L’avertissement de Coxon met également en lumière une fracture croissante au sein du secteur de l’IA. Les entreprises rivalisent pour créer des modèles plus performants, tandis que les chercheurs continuent de travailler sur les moyens de sécuriser ces systèmes.

Le chiffre de 10 % rend l’avertissement encore plus préoccupant

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, a appuyé l’évaluation de Coxon et estimé que l’IA a plus de 10 % de chances de tuer l’humanité tout entière au cours de la prochaine décennie. Cette estimation est l’évaluation personnelle de Hubinger, plutôt qu’une prédiction officielle d’Anthropic. Dans une publication de suivi sur X, citant le rapport officiel d’évaluation des risques d’Anthropic, Hubinger a ajouté que « le risque posé par les modèles actuels est faible. Ce qui m’inquiète, c’est l’émergence d’une superintelligence issue d’une auto-amélioration récursive, qui, comme nous l’avons déjà dit, se produit plus vite que prévu ». Vous pouvez consulter la publication ci-dessous :

Toutefois, les préoccupations de Coxon et l’estimation de Hubinger soulèvent la même question inconfortable concernant l’IA avancée.

Les chercheurs spécialisés en sécurité de l’IA travaillent depuis des années sur l’alignement, ce qui consiste globalement à faire en sorte que les systèmes d’IA puissants se comportent conformément aux intentions humaines. Cela dit, il n’existe toujours aucune solution garantie pour contrôler d’hypothétiques systèmes superintelligents. La technologie pourrait progresser considérablement avant que les chercheurs ne comprennent pleinement comment gérer ces risques.

La course à l’IA montre peu de signes de ralentissement

Au début de l’essor de l’IA générative, les préoccupations portaient principalement sur la désinformation, les emplois et les usages abusifs. Aujourd’hui, les chercheurs évoquent de plus en plus des conséquences bien plus graves. On ignore si ces avertissements finiront par paraître raisonnables ou extrêmement pessimistes. Mais à mesure que le développement de l’IA continue de s’accélérer, quel niveau de risque sommes-nous prêts à accepter avant que la technologie ne devienne encore plus puissante ?