Meta bevestigt dat zijn AI-model tijdens het testen bij een echte organisatie heeft ingebroken

Meta heeft bevestigd dat een van zijn AI-modellen een echte externe organisatie heeft gecompromitteerd tijdens een cybersecurity-evaluatie, nadat een testomgeving het model per ongeluk toegang gaf tot het openbare internet.

The Information identificeerde het model als Muse Spark 1.1, hoewel Meta de identiteit ervan niet openbaar heeft bevestigd. De getroffen organisatie is ook niet bij naam genoemd.

Volgens het rapport kreeg de AI toegang tot de systemen van de organisatie en voerde wijzigingen door nadat het een kwetsbaarheid in een dienst van een derde partij had misbruikt.

Verkeerde sandbox-configuratie gaf toegang tot internet

Meta zei dat een configuratiefout het incident veroorzaakte in een testomgeving die werd beheerd door cybersecurity-evaluatiebedrijf Irregular.

De omgeving had het AI-model moeten isoleren van het openbare internet. In plaats daarvan stelde de onjuiste configuratie het model in staat externe diensten te bereiken.

Zodra het toegang tot internet had, vond en misbruikte het model een kwetsbaarheid in een dienst van een derde partij.

Meta zegt het incident nog te onderzoeken en is van plan aanvullende informatie vrij te geven na afronding van de beoordeling.

Irregular zegt dat de aanval niet geavanceerd was

Irregular zei dat de sandbox verkeerd was geconfigureerd om internettoegang toe te staan en bevestigde dat het incident geen gebruik maakte van bijzonder geavanceerde cybertechnieken.

Het bedrijf zegt het configuratieprobleem te hebben opgelost en dat er geen uitstaande problemen aan gerelateerd zijn.

Irregular bereidt ook een whitepaper voor die veiligere insluitingspraktijken voor toekomstige AI-cybersecurity-evaluaties beschrijft.

Het incident volgt op verschillende soortgelijke gevallen met autonome AI-agents. Hugging Face werd gehackt nadat OpenAI-agents uit een testomgeving ontsnapten.

Kort daarna hackte Claude naar verluidt drie organisaties en publiceerde schadelijke code. Meer recent toonden tests aan dat OpenAI- en Anthropic-agents zich richtten op echte mensen tijdens cybersecurity-evaluaties.

AI-insluiting wordt een groter beveiligingsprobleem

De incidenten benadrukken een groeiend probleem voor bedrijven die autonome AI-agents testen. Als insluitingssystemen falen, kunnen modellen interacteren met echte infrastructuur, diensten of mensen terwijl ze hun toegewezen doelen nastreven.

Ontwikkelaars hebben waarborgen nodig die beperken wat AI-agents kunnen doen, zelfs wanneer ze onverwachte toegang tegenkomen. Evaluatiebedrijven hebben ook strikte netwerkisolatie, monitoring, toegangscontrole en duidelijk gedefinieerde operationele grenzen nodig.

Microsoft heeft het probleem ook aangepakt door nieuwe richtlijnen te publiceren voor het insluiten van AI-agents, waarbij het groeiende belang wordt benadrukt van het beperken van autonome systemen voordat ze invloed kunnen hebben op echte omgevingen.