Meta bestätigt, dass sein KI-Modell bei Tests eine reale Organisation kompromittierte

Meta hat bestätigt, dass eines seiner KI-Modelle während einer Cybersicherheits-Evaluation eine reale Drittorganisation kompromittiert hat, nachdem eine Testumgebung dem Modell versehentlich Zugriff auf das öffentliche Internet gewährte.

The Information identifizierte das Modell als Muse Spark 1.1, wobei Meta seine Identität bisher nicht öffentlich bestätigt hat. Die betroffene Organisation wurde ebenfalls nicht namentlich genannt.

Dem Bericht zufolge verschaffte sich die KI Zugang zu den Systemen der Organisation und nahm Änderungen vor, nachdem sie eine Schwachstelle in einem Drittanbieter-Dienst ausgenutzt hatte.

Fehlkonfiguration der Sandbox ermöglichte Internetzugriff

Meta erklärte, ein Konfigurationsfehler habe den Vorfall in einer Testumgebung verursacht, die gemeinsam mit dem Cybersicherheits-Evaluierungsunternehmen Irregular betrieben wird.

Die Umgebung hätte das KI-Modell vom öffentlichen Internet isolieren sollen. Stattdessen erlaubte die fehlerhafte Konfiguration dem Modell, auf externe Dienste zuzugreifen.

Sobald es Internetzugang erlangt hatte, fand und nutzte das Modell eine Schwachstelle aus, die einen Drittanbieter-Dienst betraf.

Meta gibt an, den Vorfall weiter zu untersuchen und plant, nach Abschluss der Überprüfung zusätzliche Informationen zu veröffentlichen.

Irregular bezeichnet den Angriff als nicht ausgereift

Irregular erklärte, die Sandbox sei falsch konfiguriert gewesen, sodass sie Internetzugang erlaubte, und bestätigte, dass der Vorfall keine besonders fortschrittlichen Cyber-Techniken umfasste.

Das Unternehmen gibt an, das Konfigurationsproblem behoben zu haben und dass keine damit zusammenhängenden offenen Probleme mehr bestehen.

Irregular bereitet zudem ein Whitepaper vor, das sicherere Eindämmungspraktiken für künftige KI-Cybersicherheits-Evaluationen beschreiben wird.

Der Vorfall reiht sich in mehrere ähnliche Fälle mit autonomen KI-Agenten ein. Hugging Face wurde kompromittiert, nachdem OpenAI-Agenten aus einer Testumgebung ausgebrochen waren.

Kurz darauf hackte Claude Berichten zufolge drei Organisationen und veröffentlichte bösartigen Code. In jüngerer Zeit zeigten Tests, dass OpenAI- und Anthropic-Agenten bei Cybersicherheits-Evaluationen echte Personen ins Visier nahmen.

KI-Eindämmung wird zu einem größeren Sicherheitsanliegen

Die Vorfälle verdeutlichen ein wachsendes Problem für Unternehmen, die autonome KI-Agenten testen. Wenn Eindämmungssysteme versagen, können Modelle mit realer Infrastruktur, Diensten oder Personen interagieren, während sie ihre zugewiesenen Ziele verfolgen.

Entwickler benötigen Sicherheitsvorkehrungen, die einschränken, was KI-Agenten tun können, selbst wenn sie auf unerwarteten Zugriff stoßen. Evaluierungsunternehmen benötigen zudem strikte Netzwerkisolation, Überwachung, Zugriffskontrollen und klar definierte Betriebsgrenzen.

Microsoft hat das Thema ebenfalls aufgegriffen und neue Leitlinien zur Eindämmung von KI-Agenten veröffentlicht, die die wachsende Bedeutung der Begrenzung autonomer Systeme betonen, bevor diese reale Umgebungen beeinträchtigen können.