AI har en chans på över 10 procent att döda alla människor inom det kommande decenniet, skrämmande varning kommer från insiders på Anthropic

Anthropics tidigare forskare Jacob Coxon har gjort en kuslig förutsägelse om vart AI-kapplöpningen till slut kan leda. I en trådpost på X talade han om att han tror att det finns en allvarlig möjlighet att allt kraftfullare AI-system skulle kunna utgöra ett existentiellt hot mot mänskligheten. Till stöd för hans bedömning lade Evan Hubinger, Anthropics chef för anpassningsvetenskap, till en siffra vid sidan av den, vilket gör risknivån svår att ignorera.

Anthropics tidigare forskare Jacob Coxon väcker farhågor om AI:s framtid

Coxon har sagt upp sig från Anthropic efter att ha uttryckt oro över företagets inriktning och den bredare kapplöpningen mot allt kraftfullare AI-system. Hans farhågor kommer vid en tidpunkt då stora AI-företag aggressivt satsar på system som kan hantera allt mer komplexa uppgifter med mindre mänsklig inblandning.

Den största oron är vad som händer om framtida AI-system blir kapabla att förbättra sig själva eller agera med betydligt större autonomi. Att kontrollera sådana system kan bli mycket svårare om deras förmågor rör sig bortom mänsklig förståelse.

Coxons varning belyser också en växande splittring inom AI-branschen. Företag tävlar om att bygga mer kapabla modeller, medan forskare fortsätter att arbeta med sätt att hålla dessa system säkra.

Siffran på 10 procent gör varningen ännu allvarligare

Evan Hubinger, Anthropics chef för anpassningsvetenskap, stödde Coxons bedömning och uppskattade att AI har mer än 10 procents chans att döda alla människor inom det kommande decenniet. Den uppskattningen är Hubingers personliga bedömning snarare än en officiell förutsägelse från Anthropic. I ett uppföljande inlägg på X, med hänvisning till Anthropics officiella riskbedömningsrapport, tillade Hubinger att ”risken från nuvarande modeller är låg. Det jag oroar mig för är superintelligens som uppstår genom rekursiv självförbättring, vilket, som vi har sagt, sker snabbare än vi trodde.” Du kan se inlägget nedan:

Men Coxons farhågor och Hubingers uppskattning pekar mot samma obekväma fråga kring avancerad AI.

Forskare inom AI-säkerhet har i flera år arbetat med anpassning, vilket i stora drag innebär att se till att kraftfulla AI-system beter sig i enlighet med mänskliga avsikter. Med det sagt finns det fortfarande ingen garanterad lösning för att kontrollera hypotetiska superintelligenta system. Tekniken kan avancera avsevärt innan forskarna fullt ut förstår hur dessa risker ska hanteras.

AI-kapplöpningen visar få tecken på att avta

Under den tidiga generativa AI-boomen kretsade oron främst kring desinformation, jobb och missbruk. I dag diskuterar forskare allt oftare betydligt allvarligare konsekvenser. Det är oklart om dessa varningar så småningom kommer att framstå som rimliga eller kraftigt pessimistiska.

Oron för allt mer kapabla AI-system är inte helt ogrundad. OpenAIs GPT-6 Astra nådde enligt uppgift 99,9 % på ARC-AGI-3 och 100 % på ExploitBench, vilket understryker hur snabbt dessa modeller utvecklas. Samtidigt har OpenAI erkänt fall där AI-agenter samordnade sig via en tysk programmeringswiki, vilket ökar oron för hur autonoma system skulle kunna missbrukas eller bete sig på oväntade sätt.