AI heeft meer dan 10% kans om binnen het komende decennium alle mensen te doden, huiveringwekkende waarschuwing komt van insiders bij Anthropic

Voormalig Anthropic-onderzoeker Jacob Coxon heeft een huiveringwekkende voorspelling gedaan over waar de AI-race uiteindelijk toe zou kunnen leiden. In een thread op X zei hij te geloven dat er een serieuze mogelijkheid is dat steeds krachtigere AI-systemen een existentiële bedreiging voor de mensheid kunnen vormen. Ter ondersteuning van zijn inschatting voegde Evan Hubinger, hoofd Alignment Science bij Anthropic, er een getal aan toe, waardoor het risiconiveau moeilijk te negeren is.

Voormalig Anthropic-onderzoeker Jacob Coxon maakt zich zorgen over de toekomst van AI

Coxon is bij Anthropic opgestapt nadat hij zijn zorgen had geuit over de koers van het bedrijf en de bredere race naar steeds krachtigere AI-systemen. Zijn zorgen komen op een moment waarop grote AI-bedrijven agressief inzetten op systemen die steeds complexere taken met minder menselijke betrokkenheid kunnen uitvoeren.

De grootste zorg is wat er gebeurt als toekomstige AI-systemen zichzelf kunnen verbeteren of met aanzienlijk meer autonomie kunnen opereren. Het beheersen van dergelijke systemen kan veel moeilijker worden als hun capaciteiten het menselijk begrip te boven gaan.

De waarschuwing van Coxon wijst ook op een groeiende verdeeldheid binnen de AI-industrie. Bedrijven concurreren om krachtigere modellen te bouwen, terwijl onderzoekers blijven werken aan manieren om die systemen veilig te houden.

Het percentage van 10% maakt de waarschuwing nog serieuzer

Evan Hubinger, hoofd Alignment Science bij Anthropic, schaarde zich achter de inschatting van Coxon en schatte dat AI meer dan 10% kans heeft om alle mensen te doden binnen het komende decennium. Die schatting is de persoonlijke inschatting van Hubinger en geen officiële voorspelling van Anthropic. In een vervolgpost op X, onder verwijzing naar het officiële risicobeoordelingsrapport van Anthropic, voegde Hubinger eraan toe: “Het risico van de huidige modellen is laag. Waar ik me zorgen over maak, is superintelligentie die voortkomt uit recursieve zelfverbetering, waarvan we al hebben gezegd dat het sneller gebeurt dan we dachten.” Je kunt de post hieronder bekijken:

De zorgen van Coxon en de schatting van Hubinger wijzen echter op dezelfde ongemakkelijke vraag rond geavanceerde AI.

Onderzoekers op het gebied van AI-veiligheid werken al jaren aan alignment, wat in brede zin betekent dat krachtige AI-systemen zich gedragen volgens menselijke intenties. Dat gezegd hebbende, is er nog steeds geen gegarandeerde oplossing voor het beheersen van hypothetische superintelligente systemen. De technologie kan zich aanzienlijk verder ontwikkelen voordat onderzoekers volledig begrijpen hoe ze die risico’s moeten beheersen.

De AI-race vertoont weinig tekenen van vertraging

In de vroege generatieve AI-boom gingen de zorgen vooral over desinformatie, banen en misbruik. Tegenwoordig bespreken onderzoekers steeds vaker veel ernstigere gevolgen. Het is onduidelijk of deze waarschuwingen uiteindelijk redelijk of enorm pessimistisch zullen lijken.

De zorgen over steeds capabelere AI-systemen zijn niet geheel ongegrond. OpenAI’s GPT-6 Astra zou naar verluidt een score van 99,9% op ARC-AGI-3 en 100% op ExploitBench hebben behaald, wat onderstreept hoe snel deze modellen zich ontwikkelen. Tegelijkertijd heeft OpenAI gevallen erkend waarin AI-agenten via een Duitse programmeerwiki coördineerden, wat de zorgen vergroot over hoe autonome systemen misbruikt kunnen worden of zich op onverwachte manieren kunnen gedragen.