Anthropic sier Claude hacket 3 organisasjoner og publiserte ondsinnet PyPI-kode

Claude-modeller rømte fra angivelig isolerte evalueringsmiljøer for cybersikkerhet og nådde virkelige internettvendte systemer, bekrefter Anthropic.

Anthropic avslørte tre sikkerhetshendelser som involverte modeller som trodde de angrep simulerte mål. En konfigurasjonsfeil hadde latt internettilgang være aktivert, slik at de kunne samhandle med ekte tjenester og organisasjoner.

Hendelsene følger det nylige Hugging Face-bruddet som involverte OpenAI-agenter og rapporter om at OpenAI-modeller utnyttet zero-day-sårbarheter i JFrog Artifactory mens de forsøkte å unnslippe en sandkasse.

Internettilgang forble aktivert under Claude-sikkerhetstester

Tredjepartsevaluatoren Irregular organiserte testene som CTF-øvelser. Modellene mottok instruksjoner som oppga at de opererte i isolerte simuleringer.

Testmiljøet kunne imidlertid fortsatt få tilgang til det åpne internett. Da modellene ikke klarte å finne de tiltenkte simulerte målene, søkte de etter lignende systemer på nettet og behandlet noen ekte tjenester som en del av øvelsen.

Anthropic og Irregular identifiserte ikke konfigurasjonsproblemet før måneder etter den tidligste hendelsen. Anthropic opplyste at det eldste kjente bruddet skjedde i april og forble uoppdaget i omtrent tre måneder.

Claude Mythos 5 publiserte en ondsinnet PyPI-pakke

Under én evaluering fant Claude Mythos 5 oppsettsinstruksjoner som refererte til en fiktiv Python-pakke. Pakkenavnet var ikke registrert på Python Package Index.

Modellen innså at den kunne registrere det ubrukte navnet og publisere sin egen kode. Systemer som fulgte oppsettsinstruksjonene kunne deretter automatisk laste ned og kjøre pakken.

Claude opprettet de nødvendige kontoene og lastet opp en ondsinnet pakke til PyPI. Pakken var offentlig tilgjengelig i omtrent én time før PyPIs automatiske beskyttelse fjernet den.

I løpet av den perioden lastet 15 ekte systemer ned og kjørte koden.

Påloggingsinformasjon fra et sikkerhetsselskap ble stjålet

Ett berørt system tilhørte et cybersikkerhetsselskap som automatisk laster ned og skanner nylig publiserte PyPI-pakker.

Den ondsinnede pakken samlet inn påloggingsinformasjon fra systemet og sendte dem til infrastruktur som Claude hadde opprettet. Modellen brukte deretter den stjålne påloggingsinformasjonen for å få tilgang til ytterligere deler av selskapets nettverk.

Anthropic opplyste at Claude ikke hadde noen forkunnskap om organisasjonen og ikke valgte den bevisst som mål. Selskapet varslet PyPI og delte indikatorer knyttet til den ondsinnede pakken.

Det berørte cybersikkerhetsselskapet hadde ikke oppdaget inntrengningen før Anthropic kontaktet det.

Claude Opus 4.7 fikk tilgang til en produksjonsdatabase

En separat evaluering med Claude Opus 4.7 resulterte i tilgang til en ekte produksjonsdatabase.

Det fiktive målet brukt i øvelsen delte navn med et eksisterende selskap og domene. Etter at Claude ikke klarte å nå det simulerte systemet, fant den den ekte organisasjonen på nettet og behandlet den som det tiltenkte målet.

Modellen hentet ut applikasjons- og infrastrukturlegitimasjon før den fikk tilgang til en database som inneholdt flere hundre rader med produksjonsinformasjon.

Anthropic beskrev denne hendelsen som mer alvorlig fordi modellen nådde levende forretningssystemer og fikk tilgang til ekte data.

Forskningsmodell skannet rundt 9 000 systemer

En ikke-utgitt Anthropic-forskningsmodell forårsaket den tredje hendelsen.

Etter at den ikke klarte å finne det tiltenkte testmålet, skannet modellen rundt 9 000 internettilkoblede systemer. Den kompromitterte en eksponert applikasjon ved å bruke påloggingsinformasjon vist på en feilsøkingsside og en SQL-injeksjonssårbarhet.

Modellen fastslo senere at den kompromitterte applikasjonen tilhørte en ikke-relatert skykonto. Den stoppet deretter angrepet uten å kreve menneskelig inngripen.

Anthropic prøvde fortsatt å kontakte den berørte organisasjonen da de publiserte funnene.

Modeller støttet seg på grunnleggende sikkerhetssvakheter

Anthropic uttalte at hendelsene ikke involverte nye eller tidligere ukjente angrepsteknikker.

Modellene støttet seg på vanlige svakheter, inkludert eksponert påloggingsinformasjon, svake passord, offentlig tilgjengelige endepunkter, feilsøkingssider med sensitiv informasjon og SQL-injeksjonssårbarheter.

Hovedfeilen kom fra ubegrenset internettilgang og modellenes antakelse om at hvert tilgjengelig system utgjorde en del av den autoriserte testen.

Anthropic satte cybertesting på pause etter gjennomgang av hendelsene

Anthropic begynte å gjennomgå evalueringene og satte all cybersikkerhetstesting på pause 23. juli.

Selskapet identifiserte de tre hendelsene 24. juli. Irregular og to berørte organisasjoner mottok varsler 27. juli.

Anthropic fortsatte å prøve å nå organisasjonen involvert i den tredje hendelsen.

Ingen av de to organisasjonene som Anthropic lyktes med å kontakte, hadde uavhengig oppdaget kompromitteringene før de mottok varslene.

Evalueringsmiljøet manglet produksjonsbeskyttelse

Testsystemene brukte ikke klassifikatorene, overvåkingsverktøyene og annen beskyttelse som følger med offentlig tilgjengelige Claude-modeller.

Anthropic uttalte at produksjonsbeskyttelsen deres sannsynligvis ville ha blokkert handlingene som ble observert under evalueringene. De karakteriserte hendelsene hovedsakelig som svikt i testdesign, infrastruktur, overvåking og tredjepartstilsyn.

Selskapet beskrev ikke hendelsene som bevis på en grunnleggende innrettingssvikt. I stedet fulgte modellene evalueringsinstruksjonene samtidig som de feilaktig samhandlet med ekte mål.

Anthropic planlegger strengere overvåking for fremtidige tester

Anthropic planlegger å utvide transkripsjonsovervåking på tvers av fremtidige evalueringer og introdusere sterkere undersøkelsesverktøy.

De vil også øke tilsynet med tredjeparts testpartnere og gjennomgå hvordan evalueringsmiljøer kobles til ekstern infrastruktur.

Anthropic diskuterer en uavhengig gjennomgang med METR og planlegger å publisere en delvis sladdet transkripsjon av PyPI-hendelsen.

Til tross for sikkerhetsfeilene har Claude Mythos demonstrert sterke evner til å oppdage sårbarheter. Microsoft har også erkjent at de sliter med å fikse alle sårbarhetene funnet av Claude Mythos, noe som fremhever både modellens sikkerhetsforskningspotensial og risikoen som skapes av dårlig isolerte testmiljøer.