AI heeft meer dan 10% kans om binnen het komende decennium alle mensen te doden, huiveringwekkende waarschuwing van insiders bij Anthropic

Jacob Coxon, ex-onderzoeker bij Anthropic, heeft een huiveringwekkende voorspelling gedaan over waar de AI-race uiteindelijk toe kan leiden. In een thread op X zei hij dat hij gelooft dat er een serieuze kans is dat steeds krachtigere AI-systemen een existentiële bedreiging voor de mensheid kunnen vormen. Evan Hubinger, Alignment Science Lead bij Anthropic, ondersteunde zijn inschatting en voegde daar een cijfer aan toe, waardoor het risiconiveau moeilijk te negeren is.

Ex-onderzoeker bij Anthropic Jacob Coxon uit zijn zorgen over de toekomst van AI

Coxon heeft ontslag genomen bij Anthropic nadat hij zijn zorgen had geuit over de koers van het bedrijf en de bredere race naar steeds krachtigere AI-systemen. Zijn zorgen komen op een moment waarop grote AI-bedrijven agressief inzetten op systemen die steeds complexere taken kunnen uitvoeren met minder menselijke betrokkenheid.

De grootste zorg is wat er gebeurt als toekomstige AI-systemen in staat worden zichzelf te verbeteren of met aanzienlijk meer autonomie te opereren. Het controleren van dergelijke systemen kan veel moeilijker worden als hun capaciteiten het menselijk begrip te boven gaan.

De waarschuwing van Coxon wijst ook op een groeiende tweedeling binnen de AI-sector. Bedrijven concurreren om krachtigere modellen te bouwen, terwijl onderzoekers blijven werken aan manieren om die systemen veilig te houden.

Het cijfer van 10% maakt de waarschuwing nog serieuzer

Evan Hubinger, Alignment Science Lead bij Anthropic, onderschreef de beoordeling van Coxon en schatte dat AI meer dan 10% kans heeft om binnen het komende decennium alle mensen te doden. Die schatting is een persoonlijke inschatting van Hubinger en geen officiële voorspelling van Anthropic. In een vervolgpost op X, onder verwijzing naar het officiële risicobeoordelingsrapport van Anthropic, voegde Hubinger eraan toe dat “het risico van de huidige modellen laag is. Waar ik me zorgen over maak, is superintelligentie die voortkomt uit recursieve zelfverbetering, waarvan we al hebben gezegd dat het sneller gebeurt dan we dachten.” Je kunt de post hieronder bekijken:

De zorgen van Coxon en de schatting van Hubinger wijzen echter op dezelfde ongemakkelijke vraag rondom geavanceerde AI.

AI-veiligheidsonderzoekers werken al jaren aan alignment, wat grofweg betekent dat krachtige AI-systemen zich gedragen volgens menselijke intenties. Maar er is nog steeds geen gegarandeerde oplossing voor het controleren van hypothetische superintelligente systemen. De technologie kan zich aanzienlijk verder ontwikkelen voordat onderzoekers volledig begrijpen hoe ze die risico’s moeten beheersen.

De AI-race laat weinig tekenen van vertraging zien

In de beginperiode van de generatieve AI-boom gingen de zorgen vooral over desinformatie, banen en misbruik. Tegenwoordig praten onderzoekers steeds vaker over veel ernstigere gevolgen. Het is onduidelijk of deze waarschuwingen uiteindelijk redelijk of overdreven pessimistisch zullen blijken.

De zorgen over steeds capabelere AI-systemen zijn niet geheel ongegrond. GPT-6 Astra van OpenAI behaalde naar verluidt een score van 99,9% op ARC-AGI-3 en 100% op ExploitBench, wat benadrukt hoe snel deze modellen zich ontwikkelen. Tegelijkertijd heeft OpenAI erkend dat er gevallen zijn waarin AI-agents via een Duitse programmeerwiki samenwerkten, wat de zorgen vergroot over hoe autonome systemen misbruikt kunnen worden of zich op onverwachte manieren kunnen gedragen.