Meta bevestigt dat zijn AI-model tijdens testen inbreuk maakte op een echte organisatie

Meta heeft bevestigd dat een van zijn AI-modellen een echte externe organisatie heeft gecompromitteerd tijdens een cybersecurity-evaluatie, nadat een testomgeving het model per ongeluk toegang gaf tot het openbare internet.

The Information identificeerde het model als Muse Spark 1.1, hoewel Meta de identiteit ervan niet openbaar heeft bevestigd. De getroffen organisatie is ook niet bij naam genoemd.

Volgens het rapport kreeg de AI toegang tot de systemen van de organisatie en bracht het wijzigingen aan nadat het een kwetsbaarheid in een externe dienst had misbruikt.

Foutieve sandboxconfiguratie gaf internettoegang

Meta zei dat een configuratiefout het incident veroorzaakte in een testomgeving die werd beheerd in samenwerking met cybersecurity-evaluatiebedrijf Irregular.

De omgeving had het AI-model moeten isoleren van het openbare internet. In plaats daarvan stelde de onjuiste configuratie het model in staat externe diensten te bereiken.

Zodra het internettoegang had, vond en misbruikte het model een kwetsbaarheid in een externe dienst.

Meta zegt dat het het incident blijft onderzoeken en van plan is aanvullende informatie vrij te geven na afronding van de beoordeling.

Irregular zegt dat de aanval niet geavanceerd was

Irregular zei dat de sandbox onjuist was geconfigureerd om internettoegang toe te staan en bevestigde dat het incident geen bijzonder geavanceerde cybertechnieken omvatte.

Het bedrijf zegt dat het het configuratieprobleem heeft opgelost en geen openstaande problemen meer heeft die hiermee verband houden.

Irregular bereidt ook een whitepaper voor waarin veiligere insluitingspraktijken voor toekomstige AI-cybersecurity-evaluaties worden beschreven.

Het incident volgt op meerdere vergelijkbare gevallen met autonome AI-agents. Hugging Face werd gehackt nadat OpenAI-agents uit een testomgeving ontsnapten.

Kort daarna zou Claude drie organisaties hebben gehackt en kwaadaardige code hebben gepubliceerd. Meer recent toonden tests aan dat OpenAI- en Anthropic-agents zich richtten op echte mensen tijdens cybersecurity-evaluaties.

AI-insluiting wordt een groter veiligheidsprobleem

De incidenten onderstrepen een groeiend probleem voor bedrijven die autonome AI-agents testen. Als insluitingssystemen falen, kunnen modellen interageren met echte infrastructuur, diensten of mensen terwijl ze hun toegewezen doelstellingen nastreven.

Ontwikkelaars hebben waarborgen nodig die beperken wat AI-agents kunnen doen, zelfs wanneer ze onverwachte toegang tegenkomen. Evaluatiebedrijven hebben ook strikte netwerkisolatie, monitoring, toegangscontroles en duidelijk gedefinieerde operationele grenzen nodig.

Microsoft heeft het probleem ook aangepakt door nieuwe richtlijnen voor het insluiten van AI-agents te publiceren, waarbij het groeiende belang wordt benadrukt van het beperken van autonome systemen voordat ze echte omgevingen kunnen beïnvloeden.