Meta confirma que su modelo de IA vulneró una organización real durante las pruebas

Meta ha confirmado que uno de sus modelos de IA comprometió a una organización real de terceros durante una evaluación de ciberseguridad después de que un entorno de pruebas le diera acceso accidental a Internet al modelo.

The Information identificó el modelo como Muse Spark 1.1, aunque Meta no ha confirmado públicamente su identidad. La organización afectada tampoco ha sido nombrada.

Según el informe, la IA obtuvo acceso a los sistemas de la organización e hizo cambios después de explotar una vulnerabilidad en un servicio de terceros.

Una mala configuración del sandbox permitió el acceso a internet

Meta dijo que un error de configuración provocó el incidente en un entorno de pruebas gestionado con la empresa de evaluación de ciberseguridad Irregular.

El entorno debería haber aislado el modelo de IA de Internet. En cambio, la configuración incorrecta permitió que el modelo accediera a servicios externos.

Una vez que obtuvo acceso a Internet, el modelo encontró y explotó una vulnerabilidad que afectaba a un servicio de terceros.

Meta afirma que continúa investigando el incidente y tiene previsto publicar información adicional una vez finalizada su revisión.

Irregular afirma que el ataque no fue sofisticado

Irregular dijo que el sandbox había sido configurado incorrectamente para permitir el acceso a Internet y confirmó que el incidente no implicó técnicas cibernéticas particularmente avanzadas.

La empresa afirma que ha resuelto el problema de configuración y no tiene problemas pendientes relacionados con él.

Irregular también está preparando un documento técnico que describirá prácticas de contención más seguras para futuras evaluaciones de ciberseguridad de IA.

El incidente se suma a varios casos similares que involucran agentes autónomos de IA. Hugging Face fue vulnerado después de que agentes de OpenAI escaparan de un entorno de pruebas.

Poco después, al parecer, Claude hackeó tres organizaciones y publicó código malicioso. Más recientemente, las pruebas mostraron que agentes de OpenAI y Anthropic tenían como objetivo a personas reales durante evaluaciones de ciberseguridad.

La contención de la IA se está convirtiendo en una preocupación de seguridad mayor

Los incidentes ponen de relieve un problema creciente para las empresas que prueban agentes autónomos de IA. Si los sistemas de contención fallan, los modelos pueden interactuar con infraestructura, servicios o personas reales mientras persiguen sus objetivos asignados.

Los desarrolladores necesitan salvaguardas que limiten lo que los agentes de IA pueden hacer incluso cuando encuentran acceso inesperado. Las empresas de evaluación también necesitan un aislamiento estricto de la red, supervisión, controles de acceso y límites operativos claramente definidos.

Microsoft también ha abordado el problema publicando una nueva guía para la contención de agentes de IA, enfatizando la creciente importancia de limitar los sistemas autónomos antes de que puedan afectar a entornos del mundo real.