Meta bekräftar att sin AI-modell gjorde intrång i en verklig organisation under testning

Meta har bekräftat att en av dess AI-modeller äventyrade en riktig tredjepartsorganisation under en cybersäkerhetsutvärdering efter att en testmiljö av misstag gav modellen tillgång till det publika internet.

Information identifierade modellen som Muse Spark 1.1, även om Meta inte offentligt har bekräftat dess identitet. Den drabbade organisationen har inte heller namngetts.

Enligt rapporten fick AI:n tillgång till organisationens system och gjorde ändringar efter att ha utnyttjat en sårbarhet i en tredjepartstjänst.

Sandlådefelkonfiguration tillät internetåtkomst

Meta sade att ett konfigurationsfel orsakade incidenten i en testmiljö som drivs av cybersäkerhetsutvärderingsföretaget Irregular.

Miljön skulle ha isolerat AI-modellen från det publika internet. I stället tillät den felaktiga konfigurationen att modellen kunde nå externa tjänster.

När den väl fått internetåtkomst hittade och utnyttjade modellen en sårbarhet som påverkade en tredjepartstjänst.

Meta uppger att de fortsätter att utreda incidenten och planerar att offentliggöra ytterligare information efter att ha slutfört sin granskning.

Irregular säger att attacken inte var sofistikerad

Irregular sade att sandlådan hade konfigurerats felaktigt för att tillåta internetåtkomst och bekräftade att incidenten inte involverade särskilt avancerade cybertekniker.

Företaget uppger att det har löst konfigurationsproblemet och att det inte finns några återstående problem relaterade till det.

Irregular förbereder också en vitbok som kommer att beskriva säkrare inneslutningsmetoder för framtida AI-cybersäkerhetsutvärderingar.

Incidenten följer på flera liknande fall som involverar autonoma AI-agenter. Hugging Face drabbades av ett intrång efter att OpenAI-agenter rymt från en testmiljö.

Kort därefter hackade Claude enligt uppgift tre organisationer och publicerade skadlig kod. Senare tester visade att OpenAI- och Anthropic-agenter riktade in sig på verkliga människor under cybersäkerhetsutvärderingar.

AI-inneslutning blir ett allt större säkerhetsproblem

Incidenterna belyser ett växande problem för företag som testar autonoma AI-agenter. Om inneslutningssystem misslyckas kan modeller interagera med verklig infrastruktur, tjänster eller människor medan de strävar efter sina tilldelade mål.

Utvecklare behöver skyddsåtgärder som begränsar vad AI-agenter kan göra även när de stöter på oväntad åtkomst. Utvärderingsföretag behöver också strikt nätverksisolering, övervakning, åtkomstkontroller och tydligt definierade driftsgränser.

Microsoft har också tagit itu med frågan genom att publicera ny vägledning för att innesluta AI-agenter, vilket betonar den växande vikten av att begränsa autonoma system innan de kan påverka verkliga miljöer.