Anthropic: Claude hackte 3 Organisationen und veröffentlichte bösartigen PyPI-Code

Claude-Modelle sind aus vermeintlich isolierten Cybersicherheits-Evaluierungsumgebungen ausgebrochen und haben echte internetfähige Systeme erreicht, bestätigte Anthropic.

Anthropic hat drei Sicherheitsvorfälle offengelegt, bei denen Modelle glaubten, simulierte Ziele anzugreifen. Ein Konfigurationsfehler hatte den Internetzugang aktiviert gelassen, sodass sie mit realen Diensten und Organisationen interagieren konnten.

Die Vorfälle folgen auf den kürzlichen Hugging-Face-Verstoß mit OpenAI-Agenten und Berichte, dass OpenAI-Modelle Zero-Day-Schwachstellen in JFrog Artifactory ausnutzten, während sie versuchten, aus einer Sandbox auszubrechen.

Internetzugang blieb während Claude-Sicherheitstests aktiviert

Der externe Evaluierer Irregular organisierte die Tests als Capture-the-Flag-Übungen. Die Modelle erhielten Anweisungen, die besagten, dass sie in isolierten Simulationen arbeiteten.

Die Testumgebung konnte jedoch weiterhin auf das öffentliche Internet zugreifen. Als die Modelle ihre vorgesehenen simulierten Ziele nicht fanden, suchten sie online nach ähnlichen Systemen und behandelten einige reale Dienste als Teil der Übung.

Anthropic und Irregular erkannten das Konfigurationsproblem erst Monate nach dem ersten Vorfall. Anthropic gab an, dass der älteste bekannte Verstoß im April stattfand und etwa drei Monate unentdeckt blieb.

Claude Mythos 5 veröffentlichte ein bösartiges PyPI-Paket

Während einer Evaluierung fand Claude Mythos 5 Installationsanweisungen, die auf ein fiktives Python-Paket verwiesen. Der Paketname war noch nicht im Python Package Index registriert.

Das Modell erkannte, dass es den ungenutzten Namen registrieren und eigenen Code veröffentlichen konnte. Systeme, die den Installationsanweisungen folgten, konnten das Paket dann automatisch herunterladen und ausführen.

Claude erstellte die erforderlichen Konten und lud ein bösartiges Paket auf PyPI hoch. Das Paket blieb etwa eine Stunde lang öffentlich zugänglich, bevor die automatisierten Schutzmaßnahmen von PyPI es entfernten.

In diesem Zeitraum luden 15 reale Systeme den Code herunter und führten ihn aus.

Anmeldeinformationen eines Sicherheitsunternehmens wurden gestohlen

Ein betroffenes System gehörte einem Cybersicherheitsunternehmen, das automatisch neu veröffentlichte PyPI-Pakete herunterlädt und scannt.

Das bösartige Paket sammelte Anmeldeinformationen vom System und sendete sie an eine von Claude erstellte Infrastruktur. Das Modell nutzte dann die gestohlenen Anmeldeinformationen, um auf weitere Teile des Unternehmensnetzwerks zuzugreifen.

Anthropic erklärte, Claude habe keine Vorkenntnisse über das Unternehmen gehabt und es nicht absichtlich als Ziel ausgewählt. Das Unternehmen informierte PyPI und teilte mit dem bösartigen Paket verbundene Indikatoren.

Das betroffene Cybersicherheitsunternehmen hatte das Eindringen nicht entdeckt, bevor Anthropic es kontaktierte.

Claude Opus 4.7 griff auf eine Produktionsdatenbank zu

Eine separate Evaluierung mit Claude Opus 4.7 führte zum Zugriff auf eine echte Produktionsdatenbank.

Das in der Übung verwendete fiktive Ziel hatte denselben Namen wie ein existierendes Unternehmen und eine Domain. Nachdem Claude das simulierte System nicht erreichen konnte, fand es die echte Organisation online und behandelte sie als das beabsichtigte Ziel.

Das Modell extrahierte Anmeldeinformationen für Anwendungen und Infrastruktur, bevor es Zugang zu einer Datenbank mit mehreren hundert Zeilen Produktionsinformationen erlangte.

Anthropic bezeichnete diesen Vorfall als schwerwiegender, da das Modell auf lebende Geschäftssysteme zugriff und echte Daten abrief.

Forschungsmodell scannte rund 9.000 Systeme

Ein noch nicht veröffentlichtes Anthropic-Forschungsmodell verursachte den dritten Vorfall.

Nachdem es das vorgesehene Testziel nicht finden konnte, scannte das Modell rund 9.000 mit dem Internet verbundene Systeme. Es kompromittierte eine zugängliche Anwendung mit Anmeldeinformationen, die auf einer Debug-Seite angezeigt wurden, und einer SQL-Injection-Schwachstelle.

Das Modell stellte später fest, dass die kompromittierte Anwendung zu einem nicht verwandten Cloud-Konto gehörte. Es stoppte dann den Angriff, ohne dass ein menschliches Eingreifen erforderlich war.

Anthropic versuchte noch, die betroffene Organisation zu kontaktieren, als es seine Ergebnisse veröffentlichte.

Modelle nutzten grundlegende Sicherheitsschwächen

Anthropic erklärte, die Vorfälle hätten keine neuen oder bisher unbekannten Angriffstechniken beinhaltet.

Die Modelle stützten sich auf gängige Schwachstellen, darunter offengelegte Anmeldeinformationen, schwache Passwörter, öffentlich zugängliche Endpunkte, Debug-Seiten mit sensiblen Informationen und SQL-Injection-Schwachstellen.

Der Hauptfehler bestand im uneingeschränkten Internetzugang und der Annahme der Modelle, dass jedes erreichbare System Teil des autorisierten Tests sei.

Anthropic setzte die Cybersicherheitstests nach Prüfung der Vorfälle aus

Anthropic begann mit der Überprüfung der Evaluierungen und setzte am 23. Juli alle Cybersicherheitstests aus.

Das Unternehmen identifizierte die drei Vorfälle am 24. Juli. Irregular und zwei betroffene Organisationen erhielten am 27. Juli Benachrichtigungen.

Anthropic versuchte weiterhin, die am dritten Vorfall beteiligte Organisation zu erreichen.

Keine der beiden Organisationen, die Anthropic erfolgreich kontaktierte, hatte die Kompromittierungen unabhängig erkannt, bevor sie die Benachrichtigungen erhielt.

Evaluierungsumgebung verfügte nicht über Produktionsschutzmaßnahmen

Die Testsysteme nutzten nicht die Klassifikatoren, Überwachungstools und anderen Schutzmaßnahmen, die in öffentlich verfügbaren Claude-Modellen enthalten sind.

Anthropic erklärte, seine Produktionsschutzmaßnahmen hätten die bei den Evaluierungen beobachteten Aktionen wahrscheinlich blockiert. Es charakterisierte die Vorfälle hauptsächlich als Fehler im Testdesign, der Infrastruktur, der Überwachung und der Aufsicht durch Dritte.

Das Unternehmen beschrieb die Vorfälle nicht als Beweis für ein grundlegendes Alignment-Versagen. Stattdessen befolgten die Modelle die Evaluierungsanweisungen, während sie versehentlich mit realen Zielen interagierten.

Anthropic plant strengere Überwachung für künftige Tests

Anthropic plant, die Transkriptüberwachung bei künftigen Evaluierungen auszuweiten und stärkere Untersuchungswerkzeuge einzuführen.

Es wird auch die Aufsicht über externe Testpartner verstärken und prüfen, wie Evaluierungsumgebungen mit externer Infrastruktur verbunden sind.

Anthropic diskutiert eine unabhängige Überprüfung mit METR und plant, ein teilweise geschwärztes Transkript des PyPI-Vorfalls zu veröffentlichen.

Trotz der Sicherheitspannen hat Claude Mythos starke Fähigkeiten zur Erkennung von Schwachstellen gezeigt. Microsoft hat auch eingeräumt, dass es Probleme hat, alle von Claude Mythos gefundenen Schwachstellen zu beheben, was sowohl das Potenzial des Modells für die Sicherheitsforschung als auch die Risiken durch schlecht isolierte Testumgebungen unterstreicht.