L'IA ha oltre il 10% di probabilità di uccidere tutti gli esseri umani entro il prossimo decennio: un inquietante avvertimento arriva dagli insider di Anthropic

L’ex ricercatore di Anthropic Jacob Coxon ha fatto una previsione agghiacciante su dove potrebbe portare, alla fine, la corsa all’IA. In un thread su X, ha parlato della sua convinzione che esista una seria possibilità che sistemi di IA sempre più potenti possano rappresentare una minaccia esistenziale per l’umanità. A sostegno della sua valutazione, Evan Hubinger, responsabile dell’Alignment Science di Anthropic, ha aggiunto una cifra accanto a essa, che rende il livello di rischio difficile da ignorare.

L’ex ricercatore di Anthropic Jacob Coxon solleva preoccupazioni sul futuro dell’IA

Coxon si è dimesso da Anthropic dopo aver sollevato preoccupazioni sulla direzione dell’azienda e sulla corsa più ampia verso sistemi di IA sempre più potenti. Le sue preoccupazioni arrivano in un momento in cui le principali aziende di IA stanno spingendo con decisione verso sistemi in grado di gestire compiti sempre più complessi con un minore intervento umano.

La preoccupazione più grande riguarda cosa potrebbe accadere se i futuri sistemi di IA diventassero in grado di migliorarsi da soli o di operare con un’autonomia significativamente maggiore. Controllare tali sistemi potrebbe diventare molto più difficile se le loro capacità superassero la comprensione umana.

L’avvertimento di Coxon evidenzia anche una crescente divisione all’interno del settore dell’IA. Le aziende competono per realizzare modelli più capaci, mentre i ricercatori continuano a lavorare su modi per mantenere sicuri questi sistemi.

La cifra del 10% rende l’avvertimento ancora più serio

Evan Hubinger, responsabile dell’Alignment Science di Anthropic, ha sostenuto la valutazione di Coxon e ha stimato che l’IA abbia più del 10% di probabilità di uccidere tutti gli esseri umani entro il prossimo decennio. Si tratta di una valutazione personale di Hubinger, non di una previsione ufficiale di Anthropic. In un post successivo su X, citando il rapporto ufficiale di valutazione del rischio di Anthropic, Hubinger ha aggiunto: «Il rischio dei modelli attuali è basso. Ciò che mi preoccupa è la superintelligenza derivante dall’auto-miglioramento ricorsivo, che, come abbiamo detto, sta avvenendo più velocemente di quanto pensassimo». Puoi vedere il post qui sotto:

Tuttavia, le preoccupazioni di Coxon e la stima di Hubinger puntano verso la stessa scomoda domanda che circonda l’IA avanzata.

I ricercatori che si occupano di sicurezza dell’IA hanno lavorato per anni sull’allineamento, che in senso ampio significa garantire che i sistemi di IA potenti si comportino secondo le intenzioni umane. Detto questo, non esiste ancora una soluzione garantita per controllare ipotetici sistemi superintelligenti. La tecnologia potrebbe avanzare notevolmente prima che i ricercatori comprendano appieno come gestire questi rischi.

La corsa all’IA mostra pochi segni di rallentamento

All’inizio del boom dell’IA generativa, le preoccupazioni si concentravano principalmente su disinformazione, posti di lavoro e uso improprio. Oggi i ricercatori discutono sempre più di conseguenze molto più gravi. Non è chiaro se questi avvertimenti finiranno per sembrare ragionevoli o estremamente pessimistici.

Le preoccupazioni sui sistemi di IA sempre più capaci non sono del tutto infondate. Secondo quanto riportato, GPT-6 Astra di OpenAI ha raggiunto un punteggio del 99,9% su ARC-AGI-3 e del 100% su ExploitBench, evidenziando quanto rapidamente stiano avanzando questi modelli. Allo stesso tempo, OpenAI ha riconosciuto casi in cui agenti IA si sono coordinati tramite una wiki di programmazione tedesca, alimentando le preoccupazioni su come i sistemi autonomi potrebbero essere usati in modo improprio o comportarsi in modi inaspettati.