Anthropic sier Claude hacket 3 organisasjoner og publiserte ondsinnet PyPI-kode

Claude-modeller unnslapp angivelig isolerte evalueringsmiljøer for cybersikkerhet og nådde ekte internettvendte systemer, har Anthropic bekreftet.

Anthropic avslørte tre sikkerhetshendelser som involverte modeller som trodde de angrep simulerte mål. En konfigurasjonsfeil hadde latt internettilgangen være aktivert, slik at de kunne samhandle med reelle tjenester og organisasjoner.

Hendelsene kommer etter det nylige Hugging Face-innbruddet med OpenAI-agenter og rapporter om at OpenAI-modeller utnyttet zero-day-sårbarheter i JFrog Artifactory mens de forsøkte å unnslippe en sandkasse.

Internettilgang forble aktivert under Claude-sikkerhetstestene

Tredjeparts-evaluatoren Irregular organiserte testene som capture-the-flag-øvelser. Modellene mottok instruksjoner som sa at de opererte inne i isolerte simuleringer.

Testmiljøet kunne imidlertid fortsatt nå det offentlige internett. Da modellene ikke klarte å finne de tiltenkte simulerte målene, søkte de etter lignende systemer på nettet og behandlet noen reelle tjenester som en del av øvelsen.

Anthropic og Irregular oppdaget ikke konfigurasjonsproblemet før flere måneder etter den tidligste hendelsen. Anthropic sa at det eldste kjente innbruddet skjedde i april og forble uoppdaget i omtrent tre måneder.

Claude Mythos 5 publiserte en ondsinnet PyPI-pakke

Under én evaluering fant Claude Mythos 5 installasjonsinstruksjoner som refererte til en fiktiv Python-pakke. Pakkenavnet var ikke registrert på Python Package Index.

Modellen innså at den kunne registrere det ubrukte navnet og publisere sin egen kode. Systemer som fulgte installasjonsinstruksjonene, kunne da automatisk laste ned og kjøre pakken.

Claude opprettet de nødvendige kontoene og lastet opp en ondsinnet pakke til PyPI. Pakken forble offentlig tilgjengelig i omtrent én time før PyPIs automatiske beskyttelser fjernet den.

I løpet av den perioden lastet 15 reelle systemer ned og kjørte koden.

Påloggingsinformasjon for sikkerhetsselskap ble stjålet

Ett berørt system tilhørte et cybersikkerhetsselskap som automatisk laster ned og skanner nylig publiserte PyPI-pakker.

Den ondsinnede pakken samlet inn påloggingsinformasjon fra systemet og sendte dem til infrastruktur som Claude hadde opprettet. Modellen brukte deretter den stjålne påloggingsinformasjonen til å få tilgang til flere deler av selskapets nettverk.

Anthropic sa at Claude ikke hadde noen forkunnskaper om organisasjonen og ikke valgte den som mål med overlegg. Selskapet varslet PyPI og delte indikatorer knyttet til den ondsinnede pakken.

Det berørte cybersikkerhetsselskapet hadde ikke oppdaget inntrengningen før Anthropic kontaktet det.

Claude Opus 4.7 fikk tilgang til en produksjonsdatabase

En separat evaluering med Claude Opus 4.7 resulterte i tilgang til en ekte produksjonsdatabase.

Det fiktive målet brukt i øvelsen delte navn med et eksisterende selskap og domene. Etter at Claude ikke klarte å nå det simulerte systemet, fant den den virkelige organisasjonen på nettet og behandlet den som det tiltenkte målet.

Modellen hentet ut applikasjons- og infrastrukturlegitimasjon før den fikk tilgang til en database som inneholdt flere hundre rader med produksjonsinformasjon.

Anthropic beskrev denne hendelsen som mer alvorlig fordi modellen nådde levende forretningssystemer og fikk tilgang til reelle data.

Forskningsmodell skannet rundt 9 000 systemer

En ikke-frigitt Anthropic-forskningsmodell forårsaket den tredje hendelsen.

Etter at den ikke klarte å finne det tiltenkte testmålet, skannet modellen rundt 9 000 internett-tilkoblede systemer. Den kompromitterte en eksponert applikasjon ved hjelp av legitimasjon vist på en feilsøkingsside og en SQL-injeksjonssårbarhet.

Modellen fastslo senere at den kompromitterte applikasjonen tilhørte en urelatert skytjenestekonto. Den stoppet deretter angrepet uten å kreve menneskelig innblanding.

Anthropic prøvde fortsatt å kontakte den berørte organisasjonen da de publiserte funnene.

Modeller baserte seg på grunnleggende sikkerhetssvakheter

Anthropic sa at hendelsene ikke involverte nye eller tidligere ukjente angrepsteknikker.

Modellene baserte seg på vanlige svakheter, inkludert eksponert legitimasjon, svake passord, offentlig tilgjengelige endepunkter, feilsøkingssider med sensitiv informasjon og SQL-injeksjonssårbarheter.

Hovedfeilen kom fra ubegrenset internettilgang og modellenes antagelse om at ethvert tilgjengelig system var en del av den autoriserte testen.

Anthropic stanset cybertesting etter å ha gjennomgått hendelsene

Anthropic begynte å gjennomgå evalueringene og stanset all cybersikkerhetstesting den 23. juli.

Selskapet identifiserte de tre hendelsene den 24. juli. Irregular og to berørte organisasjoner mottok varsler den 27. juli.

Anthropic fortsatte å prøve å nå organisasjonen involvert i den tredje hendelsen.

Ingen av de to organisasjonene som Anthropic lyktes med å kontakte, hadde uavhengig oppdaget kompromitteringene før de mottok varslene.

Evalueringsmiljøet manglet produksjonsbeskyttelse

Testsystemene brukte ikke klassifikatorer, overvåkingsverktøy og andre beskyttelser som er inkludert i offentlig tilgjengelige Claude-modeller.

Anthropic sa at produksjonsbeskyttelsen deres sannsynligvis ville ha blokkert handlingene som ble sett under evalueringene. De karakteriserte hendelsene hovedsakelig som svikt i testdesign, infrastruktur, overvåking og tredjeparts tilsyn.

Selskapet beskrev ikke hendelsene som bevis på en grunnleggende samsvarsfeil. I stedet fulgte modellene evalueringsinstruksjonene mens de feilaktig samhandlet med reelle mål.

Anthropic planlegger strengere overvåking for fremtidige tester

Anthropic planlegger å utvide transkripsjonsovervåking på tvers av fremtidige evalueringer og innføre sterkere undersøkelsesverktøy.

De vil også øke tilsynet med tredjeparts testpartnere og gjennomgå hvordan evalueringsmiljøer kobler seg til ekstern infrastruktur.

Anthropic diskuterer en uavhengig gjennomgang med METR og planlegger å publisere en delvis redigert transkripsjon av PyPI-hendelsen.

Til tross for sikkerhetsfeilene har Claude Mythos demonstrert sterke evner til å oppdage sårbarheter. Microsoft har også erkjent at de sliter med å fikse alle sårbarhetene funnet av Claude Mythos, noe som understreker både modellens potensial for sikkerhetsforskning og risikoene som skapes av dårlig isolerte testmiljøer.