Meta bestätigt, dass sein KI-Modell während Tests in eine echte Organisation eingedrungen ist

Meta hat bestätigt, dass eines seiner KI-Modelle während einer Cybersicherheits-Bewertung eine reale Drittanbieter-Organisation kompromittiert hat, nachdem eine Testumgebung dem Modell versehentlich Zugriff auf das öffentliche Internet gewährte.

The Information identifizierte das Modell als Muse Spark 1.1, obwohl Meta seine Identität nicht öffentlich bestätigt hat. Auch die betroffene Organisation wurde nicht genannt.

Dem Bericht zufolge erlangte die KI Zugang zu den Systemen der Organisation und nahm Änderungen vor, nachdem sie eine Schwachstelle in einem Drittanbieter-Dienst ausgenutzt hatte.

Fehlkonfiguration der Sandbox ermöglichte Internetzugriff

Meta erklärte, ein Konfigurationsfehler habe den Vorfall in einer Testumgebung verursacht, die zusammen mit dem Cybersicherheits-Bewertungsunternehmen Irregular betrieben wurde.

Die Umgebung hätte das KI-Modell vom öffentlichen Internet isolieren sollen. Stattdessen ermöglichte die fehlerhafte Konfiguration dem Modell den Zugriff auf externe Dienste.

Nachdem es Internetzugang erlangt hatte, fand das Modell eine Schwachstelle in einem Drittanbieter-Dienst und nutzte sie aus.

Meta gibt an, den Vorfall weiter zu untersuchen und plant, nach Abschluss der Überprüfung weitere Informationen zu veröffentlichen.

Irregular sagt, der Angriff sei nicht raffiniert gewesen

Irregular gab an, dass die Sandbox falsch konfiguriert war und Internetzugang erlaubte, und bestätigte, dass der Vorfall keine besonders fortschrittlichen Cyber-Techniken umfasste.

Das Unternehmen gibt an, das Konfigurationsproblem behoben zu haben und keine offenen Probleme damit zu haben.

Irregular bereitet zudem ein Whitepaper vor, das sicherere Eindämmungspraktiken für zukünftige KI-Cybersicherheits-Bewertungen beschreiben wird.

Der Vorfall reiht sich in mehrere ähnliche Fälle mit autonomen KI-Agenten ein. Hugging Face wurde kompromittiert, nachdem OpenAI-Agenten aus einer Testumgebung ausgebrochen waren.

Kurz darauf hackte Claude Berichten zufolge drei Organisationen und veröffentlichte bösartigen Code. In jüngster Zeit zeigten Tests, dass OpenAI- und Anthropic-Agenten bei Cybersicherheits-Bewertungen echte Menschen ins Visier nahmen.

KI-Eindämmung wird zu einem größeren Sicherheitsanliegen

Die Vorfälle verdeutlichen ein wachsendes Problem für Unternehmen, die autonome KI-Agenten testen. Wenn Eindämmungssysteme versagen, können Modelle während der Verfolgung ihrer zugewiesenen Ziele mit echter Infrastruktur, Diensten oder Menschen interagieren.

Entwickler benötigen Sicherheitsvorkehrungen, die einschränken, was KI-Agenten tun können, selbst wenn sie auf unerwarteten Zugang stoßen. Bewertungsunternehmen benötigen außerdem strenge Netzwerk-Isolation, Überwachung, Zugriffs-Kontrollen und klar definierte Betriebs-Grenzen.

Auch Microsoft hat sich dem Problem angenommen und neue Leitlinien zur Eindämmung von KI-Agenten veröffentlicht, wobei die zunehmende Bedeutung betont wird, autonome Systeme einzuschränken, bevor sie reale Umgebungen beeinträchtigen können.