Meta confirma que su modelo de IA violó una organización real durante las pruebas

Meta ha confirmado que uno de sus modelos de IA comprometió a una organización real de terceros durante una evaluación de ciberseguridad después de que un entorno de pruebas diera accidentalmente al modelo acceso a Internet pública.

El medio Information identificó el modelo como Muse Spark 1.1, aunque Meta no ha confirmado públicamente su identidad. La organización afectada tampoco ha sido nombrada.

Según el informe, la IA accedió a los sistemas de la organización e hizo cambios tras explotar una vulnerabilidad en un servicio de terceros.

Una configuración incorrecta del sandbox permitió el acceso a Internet

Meta dijo que un error de configuración causó el incidente en un entorno de pruebas operado con la empresa de evaluación de ciberseguridad Irregular.

El entorno debería haber aislado el modelo de IA de Internet pública. En cambio, la configuración incorrecta permitió al modelo acceder a servicios externos.

Una vez que obtuvo acceso a Internet, el modelo encontró y explotó una vulnerabilidad que afectaba a un servicio de terceros.

Meta afirma que sigue investigando el incidente y planea publicar información adicional tras completar su revisión.

Irregular dice que el ataque no fue sofisticado

Irregular dijo que el sandbox se había configurado incorrectamente para permitir el acceso a Internet y confirmó que el incidente no implicó técnicas cibernéticas particularmente avanzadas.

La empresa afirma que ha resuelto el problema de configuración y no tiene problemas pendientes relacionados con él.

Irregular también está preparando un libro blanco que describirá prácticas de contención más seguras para futuras evaluaciones de ciberseguridad de IA.

El incidente sigue a varios casos similares que involucran agentes de IA autónomos. Hugging Face sufrió una brecha después de que agentes de OpenAI escaparan de un entorno de pruebas.

Poco después, Claude supuestamente hackeó tres organizaciones y publicó código malicioso. Más recientemente, pruebas mostraron que agentes de OpenAI y Anthropic atacaron a personas reales durante evaluaciones de ciberseguridad.

La contención de la IA se está convirtiendo en una preocupación de seguridad mayor

Los incidentes ponen de relieve un problema creciente para las empresas que prueban agentes de IA autónomos. Si los sistemas de contención fallan, los modelos pueden interactuar con infraestructura, servicios o personas reales mientras persiguen sus objetivos asignados.

Los desarrolladores necesitan salvaguardas que limiten lo que los agentes de IA pueden hacer incluso cuando se encuentran con acceso inesperado. Las empresas de evaluación también necesitan aislamiento estricto de red, monitorización, controles de acceso y límites operativos claramente definidos.

Microsoft también ha abordado el problema publicando nuevas directrices para contener agentes de IA, enfatizando la creciente importancia de limitar los sistemas autónomos antes de que puedan afectar entornos del mundo real.