KI har over 10 prosent sjanse for å drepe alle mennesker i løpet av det neste tiåret, skremmende advarsel kommer fra Anthropic-innsidere

Anthropics tidligere forsker Jacob Coxon har kommet med en skremmende spådom om hvor AI-kappløpet til slutt kan føre. I en tråd på X sa han at han mener det er en reell mulighet for at stadig kraftigere AI-systemer kan utgjøre en eksistensiell trussel mot menneskeheten. Som støtte til vurderingen la Anthropics forskningsleder for alignment, Evan Hubinger, til et tall, noe som gjør risikonivået vanskelig å ignorere.

Anthropics tidligere forsker Jacob Coxon uttrykker bekymring for fremtiden til AI

Coxon har trukket seg fra Anthropic etter å ha uttrykt bekymring for selskapets retning og det bredere kappløpet mot stadig kraftigere AI-systemer. Bekymringene hans kommer på et tidspunkt der store AI-selskaper presser aggressivt mot systemer som kan håndtere stadig mer komplekse oppgaver med mindre menneskelig involvering.

Den største bekymringen er hva som skjer hvis fremtidige AI-systemer blir i stand til å forbedre seg selv eller operere med betydelig større autonomi. Å kontrollere slike systemer kan bli mye vanskeligere hvis evnene deres beveger seg utenfor menneskelig forståelse.

Coxons advarsel understreker også en økende splittelse i AI-bransjen. Selskaper konkurrerer om å bygge mer kapable modeller, mens forskere fortsetter å jobbe med måter å holde disse systemene trygge på.

Tallet på 10 prosent gjør advarselen enda mer alvorlig

Anthropics forskningsleder for alignment, Evan Hubinger, støttet Coxons vurdering og anslo at AI har mer enn 10 prosent sjanse for å drepe alle mennesker i løpet av det neste tiåret. Dette anslaget er Hubingers personlige vurdering, ikke en offisiell spådom fra Anthropic. I et oppfølgingsinnlegg på X, med henvisning til Anthropics offisielle risikovurderingsrapport, la Hubinger til at «risikoen fra dagens modeller er lav. Det jeg er bekymret for, er superintelligens som oppstår gjennom rekursiv selvforbedring, som vi har sagt skjer raskere enn vi trodde.» Du kan se innlegget nedenfor:

Coxons bekymringer og Hubingers anslag peker imidlertid mot det samme ubehagelige spørsmålet rundt avansert AI.

Forskere på AI-sikkerhet har brukt årevis på alignment, som i store trekk handler om å sikre at kraftige AI-systemer oppfører seg i tråd med menneskelige intensjoner. Når det er sagt, finnes det fortsatt ingen garantert løsning for å kontrollere hypotetiske superintelligente systemer. Teknologien kan utvikle seg betydelig før forskerne fullt ut forstår hvordan de skal håndtere disse risikoene.

AI-kappløpet viser få tegn til å bremse opp

Tidlig i den generative AI-boomen dreide bekymringene seg mest om desinformasjon, jobber og misbruk. I dag diskuterer forskere i stadig større grad langt alvorligere konsekvenser. Det er uklart om disse advarslene etter hvert vil fremstå som fornuftige eller svært pessimistiske.

Bekymringene rundt stadig mer kapable AI-systemer er ikke helt ubegrunnet. OpenAIs GPT-6 Astra skal ha oppnådd 99,9 % på ARC-AGI-3 og 100 % på ExploitBench, noe som understreker hvor raskt disse modellene utvikler seg. Samtidig har OpenAI erkjent tilfeller der AI-agenter koordinerte seg gjennom en tysk programmeringswiki, noe som forsterker bekymringen for hvordan autonome systemer kan misbrukes eller oppføre seg uventet.