KI har over 10 prosent sjanse for å drepe alle mennesker i løpet av det neste tiåret, iskald advarsel fra Anthropic-innsidere

Anthropics tidligere forsker Jacob Coxon har kommet med en uhyggelig spådom om hvor AI-kappløpet til slutt kan ende. I et trådinnlegg på X skrev han at han mener det er en reell mulighet for at stadig kraftigere AI-systemer kan utgjøre en eksistensiell trussel mot menneskeheten. Til støtte for vurderingen la Anthropics leder for alignment-forskning Evan Hubinger til et tall, noe som gjør risikonivået vanskelig å ignorere.

Anthropics tidligere forsker Jacob Coxon vekker bekymring om fremtiden til AI

Coxon har trukket seg fra Anthropic etter å ha uttrykt bekymring for selskapets retning og det bredere kappløpet mot stadig kraftigere AI-systemer. Bekymringene hans kommer på et tidspunkt der store AI-selskaper presser aggressivt mot systemer som kan håndtere stadig mer komplekse oppgaver med mindre menneskelig involvering.

Den største bekymringen er hva som skjer hvis fremtidige AI-systemer blir i stand til å forbedre seg selv eller operere med betydelig større autonomi. Å kontrollere slike systemer kan bli mye vanskeligere hvis evnene deres beveger seg utover menneskelig forståelse.

Coxons advarsel peker også på en voksende splittelse i AI-bransjen. Selskaper konkurrerer om å bygge mer kapable modeller, mens forskere fortsetter å jobbe med måter å holde disse systemene trygge på.

Anslaget på 10 prosent gjør advarselen enda mer alvorlig

Anthropics leder for alignment-forskning Evan Hubinger støttet Coxons vurdering og anslo at AI har mer enn 10 prosent sjanse for å drepe alle mennesker i løpet av det neste tiåret. Anslaget er Hubingers personlige vurdering, ikke en offisiell forutsigelse fra Anthropic. I et oppfølgingsinnlegg på X, der han viser til Anthropics offisielle risikovurderingsrapport, la Hubinger til at «risikoen fra dagens modeller er lav. Det jeg er bekymret for, er superintelligens som oppstår gjennom rekursiv selvforbedring, noe vi allerede har sagt skjer raskere enn vi trodde.» Du kan se innlegget nedenfor:

Coxons bekymringer og Hubingers anslag peker imidlertid mot det samme ubehagelige spørsmålet knyttet til avansert AI.

AI-sikkerhetsforskere har brukt årevis på alignment, som i stor grad handler om å sikre at kraftige AI-systemer oppfører seg i samsvar med menneskelige intensjoner. Når det er sagt, finnes det fortsatt ingen garantert løsning for å kontrollere hypotetiske superintelligente systemer. Teknologien kan utvikle seg betydelig før forskere fullt ut forstår hvordan de skal håndtere disse risikoene.

AI-kappløpet viser få tegn til å bremse

Tidlig i den generative AI-boomen dreide bekymringene seg hovedsakelig om desinformasjon, arbeidsplasser og misbruk. I dag diskuterer forskere i økende grad langt mer alvorlige konsekvenser. Det er uklart om disse advarslene etter hvert vil fremstå som fornuftige eller svært pessimistiske.

Bekymringene rundt stadig mer kapable AI-systemer er ikke helt ubegrunnet. OpenAIs GPT-6 Astra skal angivelig ha oppnådd en skår på 99,9 % på ARC-AGI-3 og 100 % på ExploitBench, noe som understreker hvor raskt disse modellene utvikler seg. Samtidig har OpenAI erkjent tilfeller der AI-agenter koordinerte gjennom en tysk programmeringswiki, noe som forsterker bekymringene for hvordan autonome systemer kan bli misbrukt eller oppføre seg på uventede måter.