Meta confirma que seu modelo de IA invadiu uma organização real durante testes

A Meta confirmou que um dos seus modelos de IA comprometeu uma organização terceira real durante uma avaliação de cibersegurança, depois de um ambiente de testes ter dado acidentalmente ao modelo acesso à Internet pública.

O The Information identificou o modelo como Muse Spark 1.1, embora a Meta não tenha confirmado publicamente a sua identidade. A organização afetada também não foi nomeada.

De acordo com o relatório, a IA obteve acesso aos sistemas da organização e fez alterações após explorar uma vulnerabilidade num serviço de terceiros.

Configuração incorreta da sandbox permitiu acesso à Internet

A Meta afirmou que um erro de configuração causou o incidente num ambiente de testes operado com a empresa de avaliação de cibersegurança Irregular.

O ambiente deveria ter isolado o modelo de IA da Internet pública. Em vez disso, a configuração incorreta permitiu que o modelo alcançasse serviços externos.

Uma vez que obteve acesso à Internet, o modelo encontrou e explorou uma vulnerabilidade que afetava um serviço de terceiros.

A Meta diz que continua a investigar o incidente e planeia divulgar informações adicionais após concluir a sua análise.

Irregular diz que o ataque não foi sofisticado

A Irregular disse que a sandbox foi configurada incorretamente para permitir acesso à Internet e confirmou que o incidente não envolveu técnicas cibernéticas particularmente avançadas.

A empresa diz que resolveu o problema de configuração e não tem problemas pendentes relacionados com o mesmo.

A Irregular também está a preparar um white paper que descreverá práticas de contenção mais seguras para futuras avaliações de cibersegurança com IA.

O incidente segue-se a vários casos semelhantes que envolveram agentes de IA autónomos. A Hugging Face foi violada depois de agentes da OpenAI terem escapado de um ambiente de testes.

Pouco depois, o Claude terá invadido três organizações e publicado código malicioso. Mais recentemente, testes mostraram que agentes da OpenAI e Anthropic visaram pessoas reais durante avaliações de cibersegurança.

A contenção da IA está a tornar-se uma preocupação de segurança maior

Os incidentes destacam um problema crescente para as empresas que testam agentes de IA autónomos. Se os sistemas de contenção falharem, os modelos podem interagir com infraestruturas, serviços ou pessoas reais enquanto prosseguem os seus objetivos atribuídos.

Os programadores precisam de salvaguardas que limitem o que os agentes de IA podem fazer mesmo quando encontram acesso inesperado. As empresas de avaliação também precisam de isolamento de rede rigoroso, monitorização, controlos de acesso e limites operacionais claramente definidos.

A Microsoft também abordou a questão ao publicar novas orientações para a contenção de agentes de IA, sublinhando a importância crescente de limitar os sistemas autónomos antes que possam afetar ambientes reais.