La IA tiene más de un 10 % de probabilidades de matar a todos los humanos en la próxima década; una advertencia escalofriante proviene de fuentes internas de Anthropic

El exinvestigador de Anthropic Jacob Coxon ha hecho una predicción escalofriante sobre hacia dónde podría acabar llevando la carrera de la IA. En un hilo publicado en X, dijo creer que existe una posibilidad seria de que sistemas de IA cada vez más potentes puedan suponer una amenaza existencial para la humanidad. En respaldo de su evaluación, el responsable de ciencia de alineación de Anthropic, Evan Hubinger, añadió una cifra que hace difícil ignorar el nivel de riesgo.

El exinvestigador de Anthropic Jacob Coxon expresa preocupación por el futuro de la IA

Coxon ha dimitido de Anthropic tras expresar su preocupación por la dirección de la empresa y por la carrera más amplia hacia sistemas de IA cada vez más potentes. Sus preocupaciones llegan en un momento en el que las grandes empresas de IA están avanzando con fuerza hacia sistemas capaces de realizar tareas cada vez más complejas con menos participación humana.

La mayor preocupación es qué ocurrirá si los futuros sistemas de IA se vuelven capaces de mejorarse a sí mismos o de operar con una autonomía significativamente mayor. Controlar tales sistemas podría volverse mucho más difícil si sus capacidades superan la comprensión humana.

La advertencia de Coxon también pone de relieve una creciente división dentro de la industria de la IA. Las empresas compiten por crear modelos más capaces, mientras los investigadores siguen trabajando en formas de mantener seguros esos sistemas.

La cifra del 10 % hace que la advertencia sea aún más grave

El responsable de ciencia de alineación de Anthropic, Evan Hubinger, respaldó la evaluación de Coxon y estimó que la IA tiene más de un 10 % de probabilidades de matar a todos los humanos en la próxima década. Esa estimación es una valoración personal de Hubinger, más que una predicción oficial de Anthropic. En una publicación posterior en X, citando el informe oficial de evaluación de riesgos de Anthropic, Hubinger añadió que «el riesgo de los modelos actuales es bajo. Lo que me preocupa es la superinteligencia que surge de la automejora recursiva, que, como hemos dicho, está ocurriendo más rápido de lo que pensábamos». Puedes consultar la publicación a continuación:

Sin embargo, las preocupaciones de Coxon y la estimación de Hubinger apuntan a la misma pregunta incómoda en torno a la IA avanzada.

Los investigadores de seguridad de la IA han pasado años trabajando en la alineación, que en términos generales significa garantizar que los sistemas de IA potentes se comporten de acuerdo con las intenciones humanas. Dicho esto, todavía no hay una solución garantizada para controlar hipotéticos sistemas superinteligentes. La tecnología podría avanzar considerablemente antes de que los investigadores comprendan del todo cómo gestionar esos riesgos.

La carrera por la IA muestra pocas señales de desaceleración

En los primeros tiempos del auge de la IA generativa, las preocupaciones se centraban sobre todo en la desinformación, el empleo y el uso indebido. Hoy, los investigadores hablan cada vez más de consecuencias mucho más graves. No está claro si estas advertencias acabarán pareciendo razonables o muy pesimistas.

Las preocupaciones sobre sistemas de IA cada vez más capaces no carecen de fundamento. Según se informa, GPT-6 Astra de OpenAI alcanzó una puntuación del 99,9 % en ARC-AGI-3 y del 100 % en ExploitBench, lo que pone de relieve la rapidez con la que avanzan estos modelos. Al mismo tiempo, OpenAI ha reconocido casos en los que agentes de IA se coordinaron a través de una wiki de programación alemana, lo que aumenta la preocupación sobre cómo los sistemas autónomos podrían usarse de forma indebida o comportarse de maneras inesperadas.