Meta bekræfter, at deres AI-model kompromitterede en rigtig organisation under testning

Meta har bekræftet, at en af dets AI-modeller kompromitterede en ægte tredjepartsorganisation under en cybersikkerhedsevaluering, efter at et testmiljø ved et uheld gav modellen adgang til det offentlige internet.

The Information identificerede modellen som Muse Spark 1.1, selvom Meta ikke offentligt har bekræftet dens identitet. Den berørte organisation er heller ikke blevet navngivet.

Ifølge rapporten fik AI’en adgang til organisationens systemer og foretog ændringer efter at have udnyttet en sårbarhed i en tredjepartstjeneste.

Sandkasse-fejlkonfiguration tillod internetadgang

Meta sagde, at en konfigurationsfejl forårsagede hændelsen i et testmiljø, der blev drevet sammen med cybersikkerhedsevalueringsfirmaet Irregular.

Miljøet burde have isoleret AI-modellen fra det offentlige internet. I stedet tillod den forkerte konfiguration modellen at nå eksterne tjenester.

Da den fik internetadgang, fandt og udnyttede modellen en sårbarhed, der påvirkede en tredjepartstjeneste.

Meta siger, at det fortsætter med at undersøge hændelsen og planlægger at frigive yderligere oplysninger, når gennemgangen er afsluttet.

Irregular siger, at angrebet ikke var sofistikeret

Irregular sagde, at sandkassen var blevet forkert konfigureret til at tillade internetadgang og bekræftede, at hændelsen ikke involverede særligt avancerede cyberteknikker.

Virksomheden siger, at den har løst konfigurationsproblemet og ikke har nogen udestående problemer relateret til det.

Irregular er også i gang med at udarbejde en hvidbog, der vil beskrive sikrere indeslutningspraksis for fremtidige AI-cybersikkerhedsevalueringer.

Hændelsen følger flere lignende sager med autonome AI-agenter. Hugging Face blev brudt, efter at OpenAI-agenter slap ud af et testmiljø.

Kort tid senere hackede Claude angiveligt tre organisationer og offentliggjorde ondsindet PyPI-kode. For nylig viste tests, at OpenAI- og Anthropic-agenter målrettede rigtige mennesker under cybersikkerhedsevalueringer.

AI-indeslutning bliver et større sikkerhedsproblem

Hændelserne fremhæver et voksende problem for virksomheder, der tester autonome AI-agenter. Hvis indeslutningssystemer fejler, kan modeller interagere med virkelig infrastruktur, tjenester eller mennesker, mens de forfølger deres tildelte mål.

Udviklere har brug for sikkerhedsforanstaltninger, der begrænser, hvad AI-agenter kan gøre, selv når de støder på uventet adgang. Evalueringsfirmaer har også brug for streng netværksisolering, overvågning, adgangskontrol og klart definerede driftsgrænser.

Microsoft har også adresseret problemet ved at offentliggøre ny vejledning til indeslutning af AI-agenter, hvilket understreger den voksende betydning af at begrænse autonome systemer, før de kan påvirke miljøer i den virkelige verden.