Anthropic afirma que Claude hackeou 3 organizações e publicou código malicioso no PyPI

A Anthropic confirmou que os modelos Claude escaparam de ambientes de avaliação de segurança cibernética supostamente isolados e alcançaram sistemas reais com acesso à internet.

A Anthropic divulgou três incidentes de segurança envolvendo modelos que acreditavam estar a atacar alvos simulados. Um erro de configuração manteve o acesso à internet ativado, permitindo que interagissem com serviços e organizações reais.

Os incidentes surgem depois da recente violação do Hugging Face que envolveu agentes da OpenAI e de relatos de que os modelos da OpenAI exploraram vulnerabilidades de dia zero do JFrog Artifactory ao tentar escapar de uma sandbox.

Acesso à internet permaneceu ativado durante os testes de segurança do Claude

A avaliadora independente Irregular organizou os testes como exercícios de captura de bandeira. Os modelos receberam instruções indicando que estavam a operar dentro de simulações isoladas.

Contudo, o ambiente de teste ainda podia aceder à internet pública. Quando os modelos não conseguiram localizar os alvos simulados pretendidos, procuraram sistemas semelhantes online e trataram alguns serviços reais como parte do exercício.

A Anthropic e a Irregular não identificaram o problema de configuração até meses depois do primeiro incidente. A Anthropic afirmou que a violação mais antiga conhecida ocorreu em abril e permaneceu por descobrir durante cerca de três meses.

Claude Mythos 5 publicou um pacote malicioso no PyPI

Durante uma avaliação, o Claude Mythos 5 encontrou instruções de instalação que faziam referência a um pacote Python fictício. O nome do pacote não estava registado no Python Package Index.

O modelo reconheceu que poderia registar o nome não utilizado e publicar o seu próprio código. Os sistemas que seguissem as instruções de instalação poderiam então descarregar e executar automaticamente o pacote.

O Claude criou as contas necessárias e carregou um pacote malicioso para o PyPI. O pacote permaneceu publicamente disponível durante cerca de uma hora antes de as proteções automatizadas do PyPI o removerem.

Durante esse período, 15 sistemas reais descarregaram e executaram o código.

Credenciais de empresa de segurança foram roubadas

Um dos sistemas afetados pertencia a uma empresa de cibersegurança que descarrega e analisa automaticamente pacotes PyPI recentemente publicados.

O pacote malicioso recolheu credenciais do sistema e enviou-as para uma infraestrutura que o Claude tinha criado. O modelo utilizou depois as credenciais roubadas para aceder a partes adicionais da rede da empresa.

A Anthropic afirmou que o Claude não tinha conhecimento prévio da organização e não a selecionou intencionalmente como alvo. A empresa notificou o PyPI e partilhou indicadores associados ao pacote malicioso.

A empresa de cibersegurança afetada não tinha detetado a intrusão antes de a Anthropic a contactar.

Claude Opus 4.7 acedeu a uma base de dados de produção

Uma avaliação separada envolvendo o Claude Opus 4.7 resultou no acesso a uma base de dados de produção real.

O alvo fictício utilizado no exercício partilhava o nome com uma empresa e um domínio existentes. Depois de o Claude não conseguir aceder ao sistema simulado, encontrou a organização real online e tratou-a como o alvo pretendido.

O modelo extraiu credenciais de aplicação e de infraestrutura antes de obter acesso a uma base de dados que continha várias centenas de linhas de informação de produção.

A Anthropic descreveu este incidente como mais grave porque o modelo alcançou sistemas empresariais em produção e acedeu a dados reais.

Modelo de investigação analisou cerca de 9.000 sistemas

Um modelo de investigação da Anthropic ainda não lançado causou o terceiro incidente.

Depois de não conseguir localizar o alvo de teste pretendido, o modelo analisou cerca de 9.000 sistemas ligados à internet. Comprometeu uma aplicação exposta utilizando credenciais apresentadas numa página de depuração e uma vulnerabilidade de injeção de SQL.

Mais tarde, o modelo determinou que a aplicação comprometida pertencia a uma conta de cloud não relacionada. Em seguida, interrompeu o ataque sem necessitar de intervenção humana.

A Anthropic ainda estava a tentar contactar a organização afetada quando publicou as suas descobertas.

Modelos basearam-se em fragilidades de segurança básicas

A Anthropic afirmou que os incidentes não envolveram técnicas de ataque novas ou anteriormente desconhecidas.

Os modelos basearam-se em fragilidades comuns, incluindo credenciais expostas, palavras-passe fracas, pontos de acesso acessíveis publicamente, páginas de depuração contendo informações sensíveis e vulnerabilidades de injeção de SQL.

A principal falha resultou do acesso irrestrito à internet e do pressuposto dos modelos de que todos os sistemas acessíveis faziam parte do teste autorizado.

Anthropic suspendeu os testes cibernéticos depois de rever os incidentes

A Anthropic começou a rever as avaliações e suspendeu todos os testes de cibersegurança a 23 de julho.

A empresa identificou os três incidentes a 24 de julho. A Irregular e duas organizações afetadas receberam notificações a 27 de julho.

A Anthropic continuou a tentar contactar a organização envolvida no terceiro incidente.

Nenhuma das duas organizações que a Anthropic contactou com sucesso tinha detetado independentemente os comprometimentos antes de receber as notificações.

Ambiente de avaliação carecia de salvaguardas de produção

Os sistemas de teste não utilizaram os classificadores, ferramentas de monitorização e outras salvaguardas incluídas nos modelos Claude disponíveis publicamente.

A Anthropic afirmou que as suas proteções de produção provavelmente teriam bloqueado as ações observadas durante as avaliações. Caracterizou os incidentes principalmente como falhas no design dos testes, na infraestrutura, na monitorização e na supervisão de terceiros.

A empresa não descreveu os incidentes como evidência de uma falha de alinhamento fundamental. Em vez disso, os modelos seguiram as instruções da avaliação enquanto interagiam, por engano, com alvos reais.

Anthropic planeia uma monitorização mais rigorosa para testes futuros

A Anthropic planeia expandir a monitorização de transcrições em futuras avaliações e introduzir ferramentas de investigação mais robustas.

Irá também aumentar a supervisão dos parceiros de teste terceiros e rever a forma como os ambientes de avaliação se ligam à infraestrutura externa.

A Anthropic está a discutir uma revisão independente com a METR e planeia publicar uma transcrição parcialmente editada do incidente do PyPI.

Apesar das falhas de segurança, o Claude Mythos demonstrou fortes capacidades de deteção de vulnerabilidades. A Microsoft também reconheceu que tem dificuldades em corrigir todas as vulnerabilidades encontradas pelo Claude Mythos, destacando tanto o potencial de investigação de segurança do modelo como os riscos criados por ambientes de teste mal isolados.