AI har over 10 % chance for at dræbe alle mennesker inden for det næste årti, iskold advarsel kommer fra Anthropic-insidere

Anthropics tidligere forsker Jacob Coxon er kommet med en ildevarslende forudsigelse om, hvor AI-kapløbet i sidste ende kan føre hen. I et trådopslag på X fortalte han, at han mener, der er en alvorlig mulighed for, at stadig mere kraftfulde AI-systemer kan udgøre en eksistentiel trussel mod menneskeheden. Som opbakning til hans vurdering tilføjede Anthropics Alignment Science Lead Evan Hubinger et tal ved siden af den, hvilket gør risikoniveauet svært at ignorere.

Anthropics tidligere forsker Jacob Coxon rejser bekymringer om fremtiden for AI

Coxon har sagt op hos Anthropic efter at have rejst bekymringer om virksomhedens retning og det bredere kapløb mod stadig mere kraftfulde AI-systemer. Hans bekymringer kommer på et tidspunkt, hvor store AI-virksomheder aggressivt satser på systemer, der kan håndtere stadig mere komplekse opgaver med mindre menneskelig indblanding.

Den største bekymring er, hvad der sker, hvis fremtidige AI-systemer bliver i stand til at forbedre sig selv eller operere med væsentligt større autonomi. At kontrollere sådanne systemer kan blive meget sværere, hvis deres evner bevæger sig ud over menneskelig forståelse.

Coxons advarsel understreger også en voksende kløft inden for AI-industrien. Virksomheder konkurrerer om at bygge mere kapable modeller, mens forskere fortsat arbejder på måder at holde disse systemer sikre på.

Tallet på 10 % gør advarslen endnu mere alvorlig

Anthropics Alignment Science Lead Evan Hubinger støttede Coxons vurdering og estimerede, at AI har mere end 10 % chance for at dræbe alle mennesker inden for det næste årti. Det estimat er Hubingers personlige vurdering snarere end en officiel forudsigelse fra Anthropic. I et opfølgende opslag på X med henvisning til Anthropics officielle risikovurderingsrapport tilføjede Hubinger, at »risikoen fra nuværende modeller er lav. Det, jeg er bekymret for, er superintelligens, der opstår ved rekursiv selvforbedring, som vi har sagt, sker hurtigere, end vi troede.« Du kan se opslaget nedenfor:

Men Coxons bekymringer og Hubingers estimat peger på det samme ubehagelige spørgsmål omkring avanceret AI.

AI-sikkerhedsforskere har brugt årevis på at arbejde med alignment, hvilket bredt set betyder at sikre, at kraftfulde AI-systemer opfører sig i overensstemmelse med menneskelige intentioner. Når det er sagt, findes der stadig ingen garanteret løsning til at kontrollere hypotetiske superintelligente systemer. Teknologien kan udvikle sig betydeligt, før forskerne fuldt ud forstår, hvordan disse risici skal håndteres.

AI-kapløbet viser kun få tegn på at aftage

I begyndelsen af det generative AI-boom drejede bekymringerne sig mest om misinformation, jobs og misbrug. I dag diskuterer forskere i stigende grad langt alvorligere konsekvenser. Det er uklart, om disse advarsler med tiden vil fremstå rimelige eller vildt pessimistiske.

Bekymringerne om stadig mere kapable AI-systemer er ikke helt ubegrundede. OpenAIs GPT-6 Astra nåede angiveligt en score på 99,9 % på ARC-AGI-3 og 100 % på ExploitBench, hvilket understreger, hvor hurtigt disse modeller udvikler sig. Samtidig har OpenAI bekræftet tilfælde, hvor AI-agenter koordinerede via en tysk programmeringswiki, hvilket øger bekymringen for, hvordan autonome systemer kan misbruges eller opføre sig på uventede måder.