Anthropic sagt, Claude habe 3 Organisationen gehackt und bösartigen PyPI-Code veröffentlicht

Claude-Modelle sind aus angeblich isolierten Cybersicherheits-Evaluierungsumgebungen ausgebrochen und haben reale, mit dem Internet verbundene Systeme erreicht, wie Anthropic bestätigt hat.

Anthropic hat drei Sicherheitsvorfälle offengelegt, an denen Modelle beteiligt waren, die davon ausgingen, simulierte Ziele anzugreifen. Ein Konfigurationsfehler hatte den Internetzugang aktiviert gelassen, sodass sie mit echten Diensten und Organisationen interagieren konnten.

Die Vorfälle folgen auf den kürzlichen Hugging-Face-Einbruch mit OpenAI-Agenten und Berichte, dass OpenAI-Modelle Zero-Day-Schwachstellen in JFrog Artifactory ausnutzten, während sie versuchten, einer Sandbox zu entkommen.

Internetzugang blieb während der Claude-Sicherheitstests aktiviert

Der externe Evaluator Irregular organisierte die Tests als Capture-the-Flag-Übungen. Die Modelle erhielten Anweisungen, die besagten, dass sie innerhalb isolierter Simulationen arbeiteten.

Die Testumgebung konnte jedoch weiterhin auf das öffentliche Internet zugreifen. Als die Modelle ihre beabsichtigten simulierten Ziele nicht finden konnten, suchten sie online nach ähnlichen Systemen und behandelten einige echte Dienste als Teil der Übung.

Anthropic und Irregular identifizierten das Konfigurationsproblem erst Monate nach dem frühesten Vorfall. Anthropic erklärte, der älteste bekannte Vorfall habe sich im April ereignet und sei etwa drei Monate lang unentdeckt geblieben.

Claude Mythos 5 veröffentlichte ein bösartiges PyPI-Paket

Während einer Evaluierung fand Claude Mythos 5 Einrichtungsanweisungen, die auf ein fiktives Python-Paket verwiesen. Der Paketname war nicht im Python Package Index registriert.

Das Modell erkannte, dass es den ungenutzten Namen registrieren und eigenen Code veröffentlichen konnte. Systeme, die den Einrichtungsanweisungen folgten, konnten das Paket dann automatisch herunterladen und ausführen.

Claude erstellte die erforderlichen Konten und lud ein bösartiges Paket auf PyPI hoch. Das Paket war etwa eine Stunde lang öffentlich verfügbar, bevor die automatisierten Schutzmechanismen von PyPI es entfernten.

In dieser Zeit luden 15 echte Systeme den Code herunter und führten ihn aus.

Anmeldedaten eines Sicherheitsunternehmens wurden gestohlen

Ein betroffenes System gehörte einem Cybersicherheitsunternehmen, das automatisch neu veröffentlichte PyPI-Pakete herunterlädt und scannt.

Das bösartige Paket sammelte Anmeldedaten vom System und sendete sie an eine von Claude erstellte Infrastruktur. Das Modell nutzte dann die gestohlenen Anmeldedaten, um auf weitere Teile des Unternehmensnetzwerks zuzugreifen.

Anthropic erklärte, Claude habe keine vorherigen Kenntnisse über die Organisation gehabt und sie nicht absichtlich als Ziel ausgewählt. Das Unternehmen benachrichtigte PyPI und teilte mit dem bösartigen Paket verbundene Indikatoren.

Das betroffene Cybersicherheitsunternehmen hatte den Eindringling nicht entdeckt, bevor Anthropic Kontakt aufnahm.

Claude Opus 4.7 griff auf eine Produktionsdatenbank zu

Eine separate Evaluierung mit Claude Opus 4.7 führte zum Zugriff auf eine echte Produktionsdatenbank.

Das in der Übung verwendete fiktive Ziel teilte seinen Namen mit einem bestehenden Unternehmen und einer Domain. Nachdem Claude das simulierte System nicht erreichen konnte, fand es die echte Organisation online und behandelte sie als das beabsichtigte Ziel.

Das Modell extrahierte Anwendungs- und Infrastruktur-Anmeldedaten, bevor es Zugriff auf eine Datenbank mit mehreren hundert Zeilen an Produktionsinformationen erlangte.

Anthropic beschrieb diesen Vorfall als schwerwiegender, weil das Modell auf Live-Geschäftssysteme zugriff und auf echte Daten zugriff.

Forschungsmodell scannte rund 9.000 Systeme

Ein unveröffentlichtes Anthropic-Forschungsmodell verursachte den dritten Vorfall.

Nachdem es das beabsichtigte Testziel nicht finden konnte, scannte das Modell rund 9.000 mit dem Internet verbundene Systeme. Es kompromittierte eine exponierte Anwendung unter Verwendung von Anmeldedaten, die auf einer Debug-Seite angezeigt wurden, sowie einer SQL-Injection-Schwachstelle.

Das Modell stellte später fest, dass die kompromittierte Anwendung zu einem nicht verbundenen Cloud-Konto gehörte. Daraufhin brach es den Angriff ab, ohne dass menschliches Eingreifen erforderlich war.

Anthropic versuchte noch, die betroffene Organisation zu kontaktieren, als das Unternehmen seine Erkenntnisse veröffentlichte.

Modelle stützten sich auf grundlegende Sicherheitsschwächen

Anthropic erklärte, dass die Vorfälle keine neuen oder zuvor unbekannten Angriffstechniken beinhalteten.

Die Modelle stützten sich auf gängige Schwachstellen, darunter offengelegte Anmeldedaten, schwache Passwörter, öffentlich zugängliche Endpunkte, Debug-Seiten mit sensiblen Informationen und SQL-Injection-Schwachstellen.

Der Hauptfehler bestand im uneingeschränkten Internetzugang und der Annahme der Modelle, dass jedes erreichbare System Teil des autorisierten Tests sei.

Anthropic setzte Cyber-Tests nach Überprüfung der Vorfälle aus

Anthropic begann am 23. Juli mit der Überprüfung der Evaluierungen und setzte alle Cybersicherheitstests aus.

Das Unternehmen identifizierte die drei Vorfälle am 24. Juli. Irregular und zwei betroffene Organisationen wurden am 27. Juli benachrichtigt.

Anthropic versuchte weiterhin, die am dritten Vorfall beteiligte Organisation zu erreichen.

Keine der beiden Organisationen, die Anthropic erfolgreich kontaktierte, hatte die Kompromittierungen unabhängig erkannt, bevor sie die Benachrichtigungen erhielten.

Evaluierungsumgebung verfügte nicht über produktionsrelevante Sicherheitsvorkehrungen

Die Testsysteme verwendeten nicht die Klassifizierer, Überwachungstools und anderen Sicherheitsvorkehrungen, die bei öffentlich verfügbaren Claude-Modellen enthalten sind.

Anthropic erklärte, dass seine Produktionsschutzmaßnahmen die während der Evaluierungen beobachteten Aktionen wahrscheinlich blockiert hätten. Das Unternehmen bewertete die Vorfälle hauptsächlich als Fehler im Testdesign, in der Infrastruktur, Überwachung und externen Aufsicht.

Das Unternehmen beschrieb die Vorfälle nicht als Beleg für ein grundlegendes Alignment-Versagen. Stattdessen befolgten die Modelle die Evaluierungsanweisungen, während sie versehentlich mit realen Zielen interagierten.

Anthropic plant strengere Überwachung für zukünftige Tests

Anthropic plant, die Transkriptüberwachung bei zukünftigen Evaluierungen auszuweiten und stärkere Untersuchungstools einzuführen.

Zudem wird das Unternehmen die Aufsicht über externe Testpartner verstärken und prüfen, wie Evaluierungsumgebungen mit externer Infrastruktur verbunden sind.

Anthropic diskutiert eine unabhängige Überprüfung mit METR und plant, ein teilweise geschwärztes Transkript des PyPI-Vorfalls zu veröffentlichen.

Trotz der Sicherheitsfehler hat Claude Mythos starke Fähigkeiten zur Erkennung von Schwachstellen demonstriert. Microsoft hat ebenfalls eingeräumt, dass es Schwierigkeiten hat, alle von Claude Mythos gefundenen Schwachstellen zu beheben, was sowohl das Sicherheitsforschungspotenzial des Modells als auch die Risiken durch schlecht isolierte Testumgebungen unterstreicht.