AI har över 10 procents chans att döda alla människor under nästa decennium, isande varning kommer från Anthropic-insiders

Anthropics tidigare forskare Jacob Coxon har gjort en skrämmande förutsägelse om vart AI-kapplöpningen så småningom kan leda. I en tråd på X sade han sig tro att det finns en allvarlig möjlighet att allt kraftfullare AI-system skulle kunna utgöra ett existentiellt hot mot mänskligheten. Till stöd för bedömningen lade Anthropics Alignment Science Lead Evan Hubinger till en siffra, vilket gör risknivån svår att ignorera.

Anthropics tidigare forskare Jacob Coxon väcker oro kring framtiden för AI

Coxon har lämnat Anthropic efter att ha uttryckt oro över företagets riktning och den bredare kapplöpningen mot allt kraftfullare AI-system. Hans oro kommer vid en tidpunkt då stora AI-företag aggressivt satsar på system som kan hantera allt mer komplexa uppgifter med mindre mänsklig inblandning.

Den största oron är vad som händer om framtida AI-system blir kapabla att förbättra sig själva eller agera med betydligt större autonomi. Att kontrollera sådana system kan bli mycket svårare om deras förmågor hamnar bortom mänsklig förståelse.

Coxons varning belyser också en växande klyfta inom AI-branschen. Företag tävlar om att bygga mer kapabla modeller, medan forskare fortsätter arbeta med sätt att hålla dessa system säkra.

Siffran 10 procent gör varningen ännu allvarligare

Anthropics Alignment Science Lead Evan Hubinger ställde sig bakom Coxons bedömning och uppskattade att AI har mer än 10 procents chans att döda alla människor inom det kommande decenniet. Den uppskattningen är Hubingers personliga bedömning snarare än en officiell förutsägelse från Anthropic. I ett uppföljande inlägg på X, där han hänvisade till Anthropics officiella riskbedömningsrapport, tillade Hubinger att ”risken från nuvarande modeller är låg. Det jag oroar mig för är superintelligens som uppstår genom rekursiv självförbättring, vilket, som vi har sagt, sker snabbare än vi trodde.” Du kan se inlägget nedan:

Coxons oro och Hubingers uppskattning pekar dock mot samma obekväma fråga kring avancerad AI.

AI-säkerhetsforskare har i åratal arbetat med alignment, vilket i stora drag innebär att se till att kraftfulla AI-system beter sig i enlighet med mänskliga avsikter. Med det sagt finns det fortfarande ingen garanterad lösning för att kontrollera hypotetiska superintelligenta system. Tekniken kan utvecklas avsevärt innan forskarna fullt ut förstår hur dessa risker ska hanteras.

AI-kapplöpningen visar få tecken på avmattning

Under den tidiga generativa AI-boomen kretsade oron främst kring desinformation, jobb och missbruk. I dag diskuterar forskare allt oftare betydligt allvarligare konsekvenser. Det är oklart om dessa varningar så småningom kommer att framstå som rimliga eller överdrivet pessimistiska.

Oron för allt mer kapabla AI-system är inte helt ogrundad. OpenAI:s GPT-6 Astra nådde enligt uppgift 99,9 procent på ARC-AGI-3 och 100 procent på ExploitBench, vilket understryker hur snabbt dessa modeller utvecklas. Samtidigt har OpenAI bekräftat fall där AI-agenter samordnade sig via en tysk programmeringswiki, vilket spär på oron för hur autonoma system kan missbrukas eller bete sig på oväntade sätt.