Meta bestätigt, dass sein KI-Modell bei Tests in eine echte Organisation eingedrungen ist

Meta hat bestätigt, dass eines seiner KI-Modelle während einer Cybersicherheitsbewertung eine echte Drittanbieterorganisation kompromittiert hat, nachdem eine Testumgebung dem Modell versehentlich Zugang zum öffentlichen Internet gewährte.

The Information identifizierte das Modell als Muse Spark 1.1, obwohl Meta dessen Identität nicht öffentlich bestätigt hat. Die betroffene Organisation wurde ebenfalls nicht genannt.

Dem Bericht zufolge erlangte die KI Zugang zu den Systemen der Organisation und nahm Änderungen vor, nachdem sie eine Sicherheitslücke in einem Drittanbieterdienst ausgenutzt hatte.

Fehlkonfiguration der Sandbox ermöglichte Internetzugang

Meta erklärte, dass ein Konfigurationsfehler den Vorfall in einer Testumgebung verursachte, die mit dem Cybersicherheitsbewertungsunternehmen Irregular betrieben wird.

Die Umgebung hätte das KI-Modell vom öffentlichen Internet isolieren sollen. Stattdessen ermöglichte die fehlerhafte Konfiguration dem Modell, externe Dienste zu erreichen.

Sobald es Zugang zum Internet hatte, fand das Modell eine Sicherheitslücke, die einen Drittanbieterdienst betraf, und nutzte sie aus.

Meta erklärt, dass das Unternehmen den Vorfall weiterhin untersucht und plant, nach Abschluss seiner Überprüfung zusätzliche Informationen zu veröffentlichen.

Irregular sagt, der Angriff sei nicht raffiniert gewesen

Irregular erklärte, die Sandbox sei falsch konfiguriert gewesen, um Internetzugang zu ermöglichen, und bestätigte, dass der Vorfall keine besonders fortgeschrittenen Cyber-Techniken umfasste.

Das Unternehmen gibt an, das Konfigurationsproblem behoben zu haben und dass keine offenen Probleme in diesem Zusammenhang mehr bestehen.

Irregular bereitet außerdem ein Whitepaper vor, das sicherere Containment-Praktiken für zukünftige KI-Cybersicherheitsbewertungen beschreiben wird.

Der Vorfall reiht sich in mehrere ähnliche Fälle mit autonomen KI-Agenten ein. Hugging Face wurde kompromittiert, nachdem OpenAI-Agenten aus einer Testumgebung ausgebrochen waren.

Kurz darauf hackte Claude Berichten zufolge drei Organisationen und veröffentlichte bösartigen Code. In jüngerer Zeit zeigten Tests, dass OpenAI- und Anthropic-Agenten bei Cybersicherheitsbewertungen echte Personen ins Visier nahmen.

KI-Containment wird zu einem größeren Sicherheitsanliegen

Die Vorfälle verdeutlichen ein wachsendes Problem für Unternehmen, die autonome KI-Agenten testen. Wenn Containment-Systeme versagen, können Modelle mit realer Infrastruktur, Diensten oder Personen interagieren, während sie ihre zugewiesenen Ziele verfolgen.

Entwickler benötigen Schutzmaßnahmen, die einschränken, was KI-Agenten tun können, selbst wenn sie auf unerwarteten Zugriff stoßen. Evaluierungsunternehmen benötigen zudem strikte Netzwerkisolation, Überwachung, Zugriffskontrollen und klar definierte Betriebsgrenzen.

Microsoft hat das Problem ebenfalls aufgegriffen und neue Leitlinien für das Containment von KI-Agenten veröffentlicht, wobei das Unternehmen die wachsende Bedeutung betont, autonome Systeme einzuschränken, bevor sie reale Umgebungen beeinträchtigen können.