Meta confirma que seu modelo de IA comprometeu uma organização real durante testes

A Meta confirmou que um dos seus modelos de IA comprometeu uma organização terceira real durante uma avaliação de cibersegurança, depois de um ambiente de teste ter dado acidentalmente ao modelo acesso à internet pública.

O Information identificou o modelo como Muse Spark 1.1, embora a Meta não tenha confirmado publicamente a sua identidade. A organização afetada também não foi nomeada.

De acordo com o relatório, a IA ganhou acesso aos sistemas da organização e fez alterações depois de explorar uma vulnerabilidade num serviço de terceiros.

Configuração incorreta da sandbox permitiu acesso à internet

A Meta afirmou que um erro de configuração causou o incidente num ambiente de teste operado com a empresa de avaliação de cibersegurança Irregular.

O ambiente deveria ter isolado o modelo de IA da internet pública. Em vez disso, a configuração incorreta permitiu que o modelo alcançasse serviços externos.

Assim que obteve acesso à internet, o modelo encontrou e explorou uma vulnerabilidade que afetava um serviço de terceiros.

A Meta afirma que continua a investigar o incidente e planeia divulgar informações adicionais após concluir a sua análise.

Irregular afirma que o ataque não foi sofisticado

A Irregular afirmou que a sandbox tinha sido configurada incorretamente para permitir o acesso à internet e confirmou que o incidente não envolveu técnicas cibernéticas particularmente avançadas.

A empresa afirma ter resolvido o problema de configuração e não ter problemas pendentes relacionados com o mesmo.

A Irregular está também a preparar um white paper que descreverá práticas de contenção mais seguras para futuras avaliações de cibersegurança de IA.

O incidente segue-se a vários casos semelhantes envolvendo agentes de IA autónomos. A Hugging Face foi violada depois de agentes da OpenAI terem escapado de um ambiente de teste.

Pouco depois, o Claude terá invadido três organizações e publicado código malicioso. Mais recentemente, testes mostraram que agentes da OpenAI e da Anthropic visaram pessoas reais durante avaliações de cibersegurança.

A contenção de IA está a tornar-se uma preocupação de segurança maior

Os incidentes destacam um problema crescente para as empresas que testam agentes de IA autónomos. Se os sistemas de contenção falharem, os modelos podem interagir com infraestruturas, serviços ou pessoas reais enquanto perseguem os objetivos que lhes foram atribuídos.

Os programadores precisam de salvaguardas que limitem o que os agentes de IA podem fazer, mesmo quando encontram acessos inesperados. As empresas de avaliação também precisam de isolamento de rede rigoroso, monitorização, controlos de acesso e limites operacionais claramente definidos.

A Microsoft também abordou o problema ao publicar novas orientações para a contenção de agentes de IA, sublinhando a importância crescente de limitar os sistemas autónomos antes que possam afetar ambientes do mundo real.