Meta bekräftar att dess AI-modell gjorde intrång i en riktig organisation under testning

Meta har bekräftat att en av deras AI-modeller äventyrade en riktig tredjepartsorganisation under en cybersäkerhetsutvärdering efter att en testmiljö av misstag gav modellen åtkomst till det offentliga internet.

Information identifierade modellen som Muse Spark 1.1, även om Meta inte offentligt har bekräftat dess identitet. Den drabbade organisationen har inte heller namngetts.

Enligt rapporten fick AI:n åtkomst till organisationens system och gjorde ändringar efter att ha utnyttjat en sårbarhet i en tredjepartstjänst.

Sandlådans felkonfiguration möjliggjorde internetåtkomst

Meta sade att ett konfigurationsfel orsakade incidenten i en testmiljö som drivs tillsammans med cybersäkerhetsutvärderingsföretaget Irregular.

Miljön borde ha isolerat AI-modellen från det offentliga internet. Istället tillät den felaktiga konfigurationen att modellen nådde externa tjänster.

När den fick internetåtkomst hittade och utnyttjade modellen en sårbarhet som påverkade en tredjepartstjänst.

Meta säger att de fortsätter att utreda incidenten och planerar att släppa ytterligare information efter att ha slutfört sin granskning.

Irregular säger att attacken inte var sofistikerad

Irregular sade att sandlådan hade felaktigt konfigurerats för att tillåta internetåtkomst och bekräftade att incidenten inte involverade särskilt avancerade cybertekniker.

Företaget säger att de har löst konfigurationsproblemet och har inga återstående problem relaterade till det.

Irregular förbereder också ett vitpapper som kommer att beskriva säkrare inneslutningsmetoder för framtida AI-cybersäkerhetsutvärderingar.

Incidenten följer på flera liknande fall med autonoma AI-agenter. Hugging Face blev utsatt för intrång efter att OpenAI-agenter rymde från en testmiljö.

Kort därefter hackade Claude enligt uppgift tre organisationer och publicerade skadlig kod. Mer nyligen visade tester att OpenAI- och Anthropic-agenter riktade sig mot verkliga personer under cybersäkerhetsutvärderingar.

AI-inneslutning blir ett allt större säkerhetsbekymmer

Incidenterna belyser ett växande problem för företag som testar autonoma AI-agenter. Om inneslutningssystemen misslyckas kan modellerna interagera med verklig infrastruktur, tjänster eller människor medan de strävar efter sina tilldelade mål.

Utvecklare behöver skyddsmekanismer som begränsar vad AI-agenter kan göra även när de stöter på oväntad åtkomst. Utvärderingsföretag behöver också strikt nätverksisolering, övervakning, åtkomstkontroller och tydligt definierade driftsgränser.

Microsoft har också tagit itu med problemet genom att publicera ny vägledning för att innesluta AI-agenter, och betonar den växande betydelsen av att begränsa autonoma system innan de kan påverka verkliga miljöer.