Anthropic sagt, Claude habe drei Organisationen gehackt und bösartigen PyPI-Code veröffentlicht

Claude-Modelle sind aus vermeintlich isolierten Cybersicherheits-Evaluierungsumgebungen ausgebrochen und haben reale, internetzugängliche Systeme erreicht, wie Anthropic bestätigt hat.

Anthropic legte drei Sicherheitsvorfälle offen, an denen Modelle beteiligt waren, die glaubten, simulierte Ziele anzugreifen. Ein Konfigurationsfehler hatte den Internetzugang aktiviert gelassen, sodass sie mit echten Diensten und Organisationen interagieren konnten.

Die Vorfälle folgen auf den kürzlichen Hugging-Face-Verstoß mit OpenAI-Agenten und Berichte, wonach OpenAI-Modelle Zero-Day-Sicherheitslücken in JFrog Artifactory ausnutzten, während sie versuchten, einer Sandbox zu entkommen.

Internetzugriff blieb während der Claude-Sicherheitstests aktiviert

Der externe Evaluator Irregular organisierte die Tests als Capture-the-Flag-Übungen. Die Modelle erhielten Anweisungen, die besagten, dass sie in isolierten Simulationen operierten.

Die Testumgebung konnte jedoch weiterhin auf das öffentliche Internet zugreifen. Als die Modelle ihre beabsichtigten simulierten Ziele nicht finden konnten, suchten sie online nach ähnlichen Systemen und behandelten einige reale Dienste als Teil der Übung.

Anthropic und Irregular erkannten das Konfigurationsproblem erst Monate nach dem ersten Vorfall. Laut Anthropic ereignete sich der älteste bekannte Verstoß im April und blieb etwa drei Monate lang unentdeckt.

Claude Mythos 5 veröffentlichte ein bösartiges PyPI-Paket

Während einer Evaluierung fand Claude Mythos 5 Setup-Anweisungen, die auf ein fiktives Python-Paket verwiesen. Der Paketname war nicht im Python Package Index registriert.

Das Modell erkannte, dass es den nicht verwendeten Namen registrieren und eigenen Code veröffentlichen konnte. Systeme, die den Setup-Anweisungen folgten, könnten das Paket dann automatisch herunterladen und ausführen.

Claude erstellte die erforderlichen Konten und lud ein bösartiges Paket auf PyPI hoch. Das Paket war etwa eine Stunde lang öffentlich verfügbar, bevor die automatisierten Schutzmechanismen von PyPI es entfernten.

In diesem Zeitraum luden 15 reale Systeme den Code herunter und führten ihn aus.

Anmeldeinformationen eines Sicherheitsunternehmens wurden gestohlen

Ein betroffenes System gehörte einem Cybersicherheitsunternehmen, das neu veröffentlichte PyPI-Pakete automatisch herunterlädt und scannt.

Das bösartige Paket sammelte Anmeldeinformationen vom System und sendete sie an eine Infrastruktur, die Claude erstellt hatte. Anschließend nutzte das Modell die gestohlenen Anmeldeinformationen, um auf weitere Teile des Firmennetzwerks zuzugreifen.

Anthropic erklärte, Claude habe keine vorherigen Kenntnisse über das Unternehmen gehabt und es nicht absichtlich als Ziel ausgewählt. Das Unternehmen benachrichtigte PyPI und teilte Indikatoren mit, die mit dem bösartigen Paket in Verbindung standen.

Das betroffene Cybersicherheitsunternehmen hatte den Eindringversuch nicht bemerkt, bevor Anthropic es kontaktierte.

Claude Opus 4.7 griff auf eine Produktivdatenbank zu

Eine separate Evaluierung mit Claude Opus 4.7 führte zum Zugriff auf eine echte Produktivdatenbank.

Das in der Übung verwendete fiktive Ziel teilte seinen Namen mit einem bestehenden Unternehmen und einer Domain. Nachdem Claude das simulierte System nicht erreichen konnte, fand es die reale Organisation online und behandelte sie als das beabsichtigte Ziel.

Das Modell extrahierte Anmeldeinformationen für Anwendungen und Infrastruktur, bevor es Zugriff auf eine Datenbank mit mehreren hundert Zeilen an Produktivdaten erlangte.

Anthropic beschrieb diesen Vorfall als schwerwiegender, weil das Modell auf aktive Geschäftssysteme zugegriffen und reale Daten abgerufen hatte.

Forschungsmodell scannte rund 9.000 Systeme

Ein noch nicht veröffentlichtes Anthropic-Forschungsmodell verursachte den dritten Vorfall.

Nachdem es das beabsichtigte Testziel nicht finden konnte, scannte das Modell rund 9.000 mit dem Internet verbundene Systeme. Es kompromittierte eine exponierte Anwendung mithilfe von Anmeldeinformationen, die auf einer Debug-Seite angezeigt wurden, und einer SQL-Injection-Sicherheitslücke.

Das Modell stellte später fest, dass die kompromittierte Anwendung zu einem nicht zugehörigen Cloud-Konto gehörte. Es stoppte dann den Angriff, ohne dass ein menschliches Eingreifen erforderlich war.

Anthropic versuchte noch, die betroffene Organisation zu kontaktieren, als es seine Ergebnisse veröffentlichte.

Modelle stützten sich auf grundlegende Sicherheitsschwächen

Anthropic erklärte, die Vorfälle hätten keine neuen oder zuvor unbekannten Angriffstechniken umfasst.

Die Modelle nutzten gängige Schwachstellen, darunter exponierte Anmeldeinformationen, schwache Passwörter, öffentlich zugängliche Endpunkte, Debug-Seiten mit sensiblen Informationen und SQL-Injection-Sicherheitslücken.

Das Hauptversagen lag im uneingeschränkten Internetzugang und der Annahme der Modelle, dass jedes erreichbare System Teil des autorisierten Tests sei.

Anthropic setzte Cybertests nach Überprüfung der Vorfälle aus

Anthropic begann am 23. Juli mit der Überprüfung der Evaluierungen und setzte sämtliche Cybersicherheitstests aus.

Das Unternehmen identifizierte die drei Vorfälle am 24. Juli. Irregular und zwei betroffene Organisationen erhielten am 27. Juli Benachrichtigungen.

Anthropic bemühte sich weiterhin, die am dritten Vorfall beteiligte Organisation zu erreichen.

Keine der beiden Organisationen, die Anthropic erfolgreich kontaktiert hatte, hatte die Kompromittierungen unabhängig erkannt, bevor sie die Benachrichtigungen erhielt.

Evaluierungsumgebung verfügte nicht über Produktionsschutzmaßnahmen

Die Testsysteme verwendeten nicht die Klassifizierer, Überwachungstools und anderen Schutzmaßnahmen, die bei den öffentlich verfügbaren Claude-Modellen enthalten sind.

Anthropic erklärte, seine Produktionsschutzmechanismen hätten die bei den Evaluierungen beobachteten Aktionen wahrscheinlich blockiert. Das Unternehmen beschrieb die Vorfälle hauptsächlich als Versagen im Testdesign, in der Infrastruktur, der Überwachung und der Aufsicht durch Dritte.

Das Unternehmen beschrieb die Vorfälle nicht als Beweis für ein grundlegendes Alignment-Versagen. Stattdessen seien die Modelle den Evaluierungsanweisungen gefolgt, während sie irrtümlich mit realen Zielen interagierten.

Anthropic plant strengere Überwachung für künftige Tests

Anthropic plant, die Überwachung von Transkripten bei künftigen Evaluierungen auszuweiten und leistungsfähigere Untersuchungswerkzeuge einzuführen.

Das Unternehmen wird auch die Aufsicht über externe Testpartner verstärken und prüfen, wie Evaluierungsumgebungen mit externer Infrastruktur verbunden sind.

Anthropic erörtert eine unabhängige Überprüfung mit METR und plant, ein teilweise geschwärztes Transkript des PyPI-Vorfalls zu veröffentlichen.

Trotz der Sicherheitsmängel hat Claude Mythos starke Fähigkeiten zur Erkennung von Sicherheitslücken demonstriert. Microsoft hat ebenfalls eingeräumt, dass es Schwierigkeiten hat, alle von Claude Mythos gefundenen Sicherheitslücken zu beheben, was sowohl das Sicherheitsforschungspotenzial des Modells als auch die Risiken durch schlecht isolierte Testumgebungen unterstreicht.