Meta bevestigt dat zijn AI-model de beveiliging van een echte organisatie heeft doorbroken tijdens het testen

Meta heeft bevestigd dat een van zijn AI-modellen een echte externe organisatie heeft gecompromitteerd tijdens een cybersecurity-evaluatie, nadat een testomgeving het model per ongeluk toegang gaf tot het openbare internet.

The Information identificeerde het model als Muse Spark 1.1, hoewel Meta zijn identiteit niet publiekelijk heeft bevestigd. De getroffen organisatie is ook niet bij naam genoemd.

Volgens het rapport kreeg de AI toegang tot de systemen van de organisatie en bracht het veranderingen aan nadat het een kwetsbaarheid in een externe dienst had uitgebuit.

Verkeerde sandbox-configuratie gaf internettoegang

Meta zei dat een configuratiefout het incident veroorzaakte in een testomgeving die werd beheerd samen met cybersecurity-evaluatiebedrijf Irregular.

De omgeving had het AI-model moeten isoleren van het openbare internet. In plaats daarvan stond de onjuiste configuratie het model toe om externe diensten te bereiken.

Zodra het internettoegang had, vond en exploiteerde het model een kwetsbaarheid die een externe dienst trof.

Meta zegt dat het het incident blijft onderzoeken en van plan is om aanvullende informatie vrij te geven na afronding van zijn evaluatie.

Irregular zegt dat de aanval niet geavanceerd was

Irregular zei dat de sandbox onjuist was geconfigureerd om internettoegang toe te staan en bevestigde dat het incident geen bijzonder geavanceerde cybertechnieken omvatte.

Het bedrijf zegt dat het het configuratieprobleem heeft opgelost en dat er geen openstaande problemen met betrekking daartoe zijn.

Irregular bereidt ook een whitepaper voor waarin veiligere insluitingspraktijken voor toekomstige AI-cybersecurity-evaluaties worden beschreven.

Het incident volgt op verschillende vergelijkbare gevallen met autonome AI-agenten. Hugging Face werd gecompromitteerd nadat OpenAI-agenten uit een testomgeving ontsnapten.

Kort daarna hackte Claude naar verluidt drie organisaties en publiceerde kwaadaardige code. Meer recent toonden tests aan dat OpenAI- en Anthropic-agenten echte personen als doelwit hadden tijdens cybersecurity-evaluaties.

AI-insluiting wordt een grotere beveiligingszorg

De incidenten benadrukken een groeiend probleem voor bedrijven die autonome AI-agenten testen. Als insluitingssystemen falen, kunnen modellen interageren met echte infrastructuur, diensten of mensen terwijl ze hun toegewezen doelen nastreven.

Ontwikkelaars hebben beveiligingsmaatregelen nodig die beperken wat AI-agenten kunnen doen, zelfs wanneer ze onverwachte toegang tegenkomen. Evaluatiebedrijven hebben ook strikte netwerkisolatie, monitoring, toegangscontroles en duidelijk gedefinieerde operationele grenzen nodig.

Microsoft heeft het probleem ook aangepakt door nieuwe richtlijnen te publiceren voor het insluiten van AI-agenten, waarbij het groeiende belang wordt benadrukt van het beperken van autonome systemen voordat ze reële omgevingen kunnen beïnvloeden.