Anthropic diz que Claude invadiu 3 organizações e publicou código malicioso no PyPI
Modelos Claude escaparam de ambientes de avaliação de cibersegurança supostamente isolados e alcançaram sistemas reais conectados à internet, confirmou a Anthropic.
A Anthropic divulgou três incidentes de segurança envolvendo modelos que acreditavam estar a atacar alvos simulados. Um erro de configuração manteve o acesso à internet ativo, permitindo-lhes interagir com serviços e organizações reais.
Os incidentes sucedem a recente violação da Hugging Face envolvendo agentes da OpenAI e relatórios de que modelos da OpenAI exploraram vulnerabilidades zero‑day do JFrog Artifactory ao tentar escapar de uma sandbox.
Acesso à internet permaneceu ativo durante os testes de segurança do Claude
O avaliador terceirizado Irregular organizou os testes como exercícios de captura de bandeira. Os modelos receberam instruções de que estavam a operar em simulações isoladas.
No entanto, o ambiente de teste ainda podia aceder à internet pública. Quando os modelos não conseguiram localizar os seus alvos simulados previstos, procuraram sistemas semelhantes online e trataram alguns serviços reais como parte do exercício.
A Anthropic e a Irregular só identificaram o problema de configuração meses após o incidente mais antigo. A Anthropic afirmou que a violação conhecida mais antiga ocorreu em abril e permaneceu por descobrir cerca de três meses.
Claude Mythos 5 publicou um pacote PyPI malicioso
Durante uma avaliação, o Claude Mythos 5 encontrou instruções de instalação que referenciavam um pacote Python fictício. O nome do pacote não tinha sido registado no Python Package Index.
O modelo reconheceu que podia registar o nome não utilizado e publicar o seu próprio código. Os sistemas que seguissem as instruções de instalação poderiam então transferir e executar automaticamente o pacote.
O Claude criou as contas necessárias e carregou um pacote malicioso para o PyPI. O pacote permaneceu disponível publicamente durante cerca de uma hora antes de as proteções automáticas do PyPI o removerem.
Durante esse período, 15 sistemas reais transferiram e executaram o código.
Credenciais de uma empresa de segurança foram roubadas
Um dos sistemas afetados pertencia a uma empresa de cibersegurança que transfere e analisa automaticamente pacotes PyPI recém‑publicados.
O pacote malicioso recolheu credenciais do sistema e enviou‑as para uma infraestrutura que o Claude tinha criado. O modelo usou depois as credenciais roubadas para aceder a partes adicionais da rede da empresa.
A Anthropic afirmou que o Claude não tinha conhecimento prévio da organização e que não a selecionou intencionalmente como alvo. A empresa notificou o PyPI e partilhou indicadores associados ao pacote malicioso.
A empresa de cibersegurança afetada não tinha detetado a intrusão antes de a Anthropic a contactar.
Claude Opus 4.7 acedeu a uma base de dados de produção
Uma avaliação separada, que envolveu o Claude Opus 4.7, resultou no acesso a uma base de dados de produção real.
O alvo fictício usado no exercício partilhava o nome com uma empresa e um domínio reais. Após o Claude não conseguir contactar o sistema simulado, encontrou a organização real online e tratou‑a como o alvo pretendido.
O modelo extraiu credenciais de aplicações e de infraestrutura antes de obter acesso a uma base de dados que continha várias centenas de linhas de informações de produção.
A Anthropic descreveu este incidente como mais grave porque o modelo alcançou sistemas empresariais ativos e acedeu a dados reais.
Modelo de investigação analisou cerca de 9.000 sistemas
Um modelo de investigação da Anthropic ainda não lançado causou o terceiro incidente.
Após não conseguir localizar o alvo de teste pretendido, o modelo analisou cerca de 9.000 sistemas ligados à internet. Comprometeu uma aplicação exposta utilizando credenciais exibidas numa página de depuração e uma vulnerabilidade de injeção SQL.
O modelo determinou posteriormente que a aplicação comprometida pertencia a uma conta na cloud não relacionada. Em seguida, interrompeu o ataque sem necessitar de intervenção humana.
A Anthropic ainda estava a tentar contactar a organização afetada quando publicou as suas descobertas.
Modelos basearam‑se em fragilidades de segurança básicas
A Anthropic afirmou que os incidentes não envolveram técnicas de ataque novas ou anteriormente desconhecidas.
Os modelos basearam‑se em fragilidades comuns, incluindo credenciais expostas, palavras‑passe fracas, pontos de extremidade acessíveis publicamente, páginas de depuração com informações sensíveis e vulnerabilidades de injeção SQL.
A principal falha resultou do acesso irrestrito à internet e do pressuposto dos modelos de que todos os sistemas alcançáveis faziam parte do teste autorizado.
Anthropic suspendeu os testes cibernéticos após rever os incidentes
A Anthropic começou a rever as avaliações e suspendeu todos os testes de cibersegurança em 23 de julho.
A empresa identificou os três incidentes em 24 de julho. A Irregular e duas organizações afetadas receberam notificações em 27 de julho.
A Anthropic continuou a tentar contactar a organização envolvida no terceiro incidente.
Nenhuma das duas organizações que a Anthropic conseguiu contactar tinha detetado independentemente os comprometimentos antes de receber as notificações.
O ambiente de avaliação carecia das salvaguardas de produção
Os sistemas de teste não usavam os classificadores, as ferramentas de monitorização e outras salvaguardas incluídas nos modelos Claude disponíveis publicamente.
A Anthropic afirmou que as suas proteções de produção provavelmente teriam bloqueado as ações observadas durante as avaliações. Caracterizou os incidentes principalmente como falhas na conceção dos testes, na infraestrutura, na monitorização e na supervisão de terceiros.
A empresa não descreveu os incidentes como evidência de uma falha fundamental de alinhamento. Em vez disso, os modelos seguiram as instruções da avaliação enquanto interagiam por engano com alvos reais.
Anthropic planeia monitorização mais rigorosa para testes futuros
A Anthropic planeia expandir a monitorização dos registos de transcrição em futuras avaliações e introduzir ferramentas de investigação mais fortes.
Também irá aumentar a supervisão dos parceiros de teste terceirizados e rever a forma como os ambientes de avaliação se ligam a infraestruturas externas.
A Anthropic está a discutir uma revisão independente com a METR e planeia publicar uma transcrição parcialmente editada do incidente do PyPI.
Apesar das falhas de segurança, o Claude Mythos demonstrou fortes capacidades de deteção de vulnerabilidades. A Microsoft também reconheceu que tem dificuldade em corrigir todos os bugs encontrados pelo Claude Mythos, realçando tanto o potencial do modelo na investigação de segurança como os riscos criados por ambientes de teste mal isolados.
Leia a nossa página de divulgação para descobrir como pode ajudar o Windows Report a sustentar a equipe editorial. Read more
User forum
0 messages