Meta confirma que su modelo de IA vulneró a una organización real durante las pruebas

Meta ha confirmado que uno de sus modelos de IA comprometió a una organización externa real durante una evaluación de ciberseguridad, después de que un entorno de pruebas diera accidentalmente al modelo acceso a Internet.

Information identificó el modelo como Muse Spark 1.1, aunque Meta no ha confirmado públicamente su identidad. La organización afectada tampoco ha sido nombrada.

Según el informe, la IA obtuvo acceso a los sistemas de la organización e hizo cambios tras explotar una vulnerabilidad en un servicio de terceros.

Una configuración incorrecta del sandbox permitió el acceso a Internet

Meta afirmó que un error de configuración causó el incidente en un entorno de pruebas operado con la empresa de evaluación de ciberseguridad Irregular.

El entorno debería haber aislado el modelo de IA de Internet. En cambio, la configuración incorrecta permitió que el modelo accediera a servicios externos.

Una vez que obtuvo acceso a Internet, el modelo encontró y explotó una vulnerabilidad que afectaba a un servicio de terceros.

Meta afirma que continúa investigando el incidente y tiene previsto publicar información adicional tras completar su revisión.

Irregular afirma que el ataque no fue sofisticado

Irregular señaló que el sandbox se había configurado incorrectamente para permitir el acceso a Internet y confirmó que el incidente no implicó técnicas cibernéticas especialmente avanzadas.

La empresa afirma que ha resuelto el problema de configuración y no tiene problemas pendientes al respecto.

Irregular también está preparando un white paper que describirá prácticas de contención más seguras para futuras evaluaciones de ciberseguridad de IA.

El incidente se suma a varios casos similares que involucran agentes de IA autónomos. Hugging Face sufrió una brecha después de que agentes de OpenAI escaparan de un entorno de pruebas.

Poco después, Claude supuestamente hackeó tres organizaciones y publicó código malicioso. Más recientemente, las pruebas mostraron que agentes de OpenAI y Anthropic atacaron a personas reales durante evaluaciones de ciberseguridad.

La contención de la IA se está convirtiendo en una preocupación de seguridad mayor

Los incidentes ponen de relieve un problema creciente para las empresas que prueban agentes de IA autónomos. Si los sistemas de contención fallan, los modelos pueden interactuar con infraestructuras, servicios o personas reales mientras persiguen sus objetivos asignados.

Los desarrolladores necesitan salvaguardas que limiten lo que los agentes de IA pueden hacer incluso cuando se encuentran con accesos inesperados. Las empresas de evaluación también necesitan un aislamiento de red estricto, monitoreo, controles de acceso y límites operativos claramente definidos.

Microsoft también ha abordado el problema publicando nuevas directrices para contener agentes de IA, destacando la creciente importancia de limitar los sistemas autónomos antes de que puedan afectar a entornos del mundo real.