La IA tiene más de un 10 % de probabilidades de matar a todos los humanos en la próxima década, según una escalofriante advertencia de fuentes internas de Anthropic

El exinvestigador de Anthropic Jacob Coxon ha hecho una predicción escalofriante sobre adónde podría llevar eventualmente la carrera de la IA. En una publicación en hilo en X, habló de que cree que existe una posibilidad seria de que sistemas de IA cada vez más potentes puedan suponer una amenaza existencial para la humanidad. Respaldando su valoración, el responsable de ciencia de alineación de Anthropic, Evan Hubinger, añadió una cifra junto a ella, lo que hace difícil ignorar el nivel de riesgo.

El exinvestigador de Anthropic Jacob Coxon plantea preocupaciones sobre el futuro de la IA

Coxon ha dimitido de Anthropic tras plantear preocupaciones sobre la dirección de la empresa y la carrera más amplia hacia sistemas de IA cada vez más potentes. Sus preocupaciones llegan en un momento en que las grandes empresas de IA están avanzando de forma agresiva hacia sistemas capaces de gestionar tareas cada vez más complejas con menos intervención humana.

La mayor preocupación es qué ocurre si los futuros sistemas de IA se vuelven capaces de mejorarse a sí mismos o de operar con una autonomía significativamente mayor. Controlar esos sistemas podría volverse mucho más difícil si sus capacidades superan la comprensión humana.

La advertencia de Coxon también pone de relieve una división creciente dentro de la industria de la IA. Las empresas compiten por crear modelos más capaces, mientras los investigadores siguen trabajando en formas de mantener seguros esos sistemas.

La cifra del 10 % hace la advertencia aún más seria

El responsable de ciencia de alineación de Anthropic, Evan Hubinger, respaldó la valoración de Coxon y estimó que la IA tiene más de un 10 % de probabilidades de matar a todos los humanos en la próxima década. Esa estimación es una valoración personal de Hubinger, no una predicción oficial de Anthropic. En una publicación de seguimiento en X, citando el informe oficial de evaluación de riesgos de Anthropic, Hubinger añadió que «el riesgo de los modelos actuales es bajo. Lo que me preocupa es la superinteligencia que surge de la automejora recursiva, que, como hemos dicho, está ocurriendo más rápido de lo que pensábamos». Puedes consultar la publicación a continuación:

Sin embargo, las preocupaciones de Coxon y la estimación de Hubinger apuntan a la misma pregunta incómoda en torno a la IA avanzada.

Los investigadores de seguridad de la IA llevan años trabajando en la alineación, que en términos generales significa garantizar que los sistemas de IA potentes se comporten de acuerdo con las intenciones humanas. Dicho esto, todavía no existe una solución garantizada para controlar sistemas superinteligentes hipotéticos. La tecnología podría avanzar considerablemente antes de que los investigadores entiendan por completo cómo gestionar esos riesgos.

La carrera de la IA muestra pocos signos de desaceleración

En los inicios del auge de la IA generativa, las preocupaciones se centraban principalmente en la desinformación, el empleo y el uso indebido. Hoy, los investigadores hablan cada vez más de consecuencias mucho más graves. No está claro si estas advertencias acabarán pareciendo razonables o enormemente pesimistas.

Las preocupaciones sobre sistemas de IA cada vez más capaces no carecen de fundamento. Según se informa, GPT-6 Astra de OpenAI alcanzó una puntuación del 99,9 % en ARC-AGI-3 y del 100 % en ExploitBench, lo que pone de relieve lo rápido que avanzan estos modelos. Al mismo tiempo, OpenAI ha reconocido casos en los que agentes de IA se coordinaron a través de una wiki de programación alemana, lo que aumenta la preocupación sobre cómo los sistemas autónomos podrían utilizarse de forma indebida o comportarse de maneras inesperadas.