Meta confirma que su modelo de IA vulneró una organización real durante pruebas

Meta ha confirmado que uno de sus modelos de IA comprometió a una organización real de terceros durante una evaluación de ciberseguridad después de que un entorno de pruebas diera accidentalmente al modelo acceso a internet público.

The Information identificó el modelo como Muse Spark 1.1, aunque Meta no ha confirmado públicamente su identidad. La organización afectada tampoco ha sido nombrada.

Según el informe, la IA obtuvo acceso a los sistemas de la organización e hizo cambios después de explotar una vulnerabilidad en un servicio de terceros.

Una configuración incorrecta del sandbox permitió el acceso a internet

Meta dijo que un error de configuración causó el incidente en un entorno de pruebas operado con la empresa de evaluación de ciberseguridad Irregular.

El entorno debería haber aislado al modelo de IA del internet público. En cambio, la configuración incorrecta permitió que el modelo accediera a servicios externos.

Una vez que obtuvo acceso a internet, el modelo encontró y explotó una vulnerabilidad que afectaba a un servicio de terceros.

Meta afirma que continúa investigando el incidente y planea publicar información adicional después de completar su revisión.

Irregular dice que el ataque no fue sofisticado

Irregular dijo que el sandbox se había configurado incorrectamente para permitir el acceso a internet y confirmó que el incidente no involucró técnicas cibernéticas particularmente avanzadas.

La empresa dice que ha resuelto el problema de configuración y no tiene problemas pendientes relacionados con él.

Irregular también está preparando un white paper que describirá prácticas de contención más seguras para futuras evaluaciones de ciberseguridad de IA.

El incidente sigue a varios casos similares que involucraron agentes de IA autónomos. Hugging Face sufrió una violación después de que agentes de OpenAI escaparan de un entorno de pruebas.

Poco después, Claude pirateó supuestamente tres organizaciones y publicó código malicioso. Más recientemente, las pruebas mostraron que los agentes de OpenAI y Anthropic atacaron a personas reales durante las evaluaciones de ciberseguridad.

La contención de la IA se está convirtiendo en una mayor preocupación de seguridad

Los incidentes ponen de relieve un problema creciente para las empresas que prueban agentes de IA autónomos. Si los sistemas de contención fallan, los modelos pueden interactuar con infraestructura, servicios o personas reales mientras persiguen sus objetivos asignados.

Los desarrolladores necesitan salvaguardas que limiten lo que los agentes de IA pueden hacer incluso cuando se encuentran con acceso inesperado. Las empresas de evaluación también necesitan un aislamiento estricto de la red, supervisión, controles de acceso y límites operativos claramente definidos.

Microsoft también ha abordado el problema publicando nueva orientación para contener a los agentes de IA, enfatizando la creciente importancia de limitar los sistemas autónomos antes de que puedan afectar a entornos del mundo real.