AIが今後10年以内に全人類を殺す確率は10％を超えるという、身の毛もよだつ警告がAnthropicの内部関係者から寄せられています

Anthropic の元研究者 Jacob Coxon 氏は、AI 競争が最終的にどこへ向かうのかについて、背筋が凍るような予測を示しました。X のスレッド投稿で、彼は、ますます強力になる AI システムが人類に存亡の脅威をもたらす重大な可能性を信じていると述べました。この評価を裏付けるように、Anthropic の Alignment Science Lead である Evan Hubinger 氏が数字を添えて示し、そのリスク水準を無視するのが難しくなっています。

Anthropic の元研究者 Jacob Coxon 氏、AI の将来に懸念を示す

Coxon 氏は、同社の方向性に懸念を示した後、より強力な AI システムを目指す広範な競争にも懸念を抱き、Anthropic を辞職しました。同氏の懸念が示されたのは、主要 AI 企業が、人間の関与を減らしながら、ますます複雑なタスクを処理できるシステムへと積極的に突き進んでいる時期のことです。

最大の懸念は、将来の AI システムが自己改良したり、大幅に高い自律性で動作したりできるようになった場合に何が起こるかです。その能力が人間の理解を超えた場合、そうしたシステムの制御ははるかに難しくなる可能性があります。

Coxon 氏の警告は、AI 業界内で広がる分裂も浮き彫りにしています。企業はより高性能なモデルの構築を競い、研究者はそうしたシステムを安全に保つ方法の研究を続けています。

10% という数字が警告をさらに深刻にしている

Anthropic の Alignment Science Lead である Evan Hubinger 氏は、Coxon 氏の評価を支持し、今後 10 年以内に AI が全人類を殺す確率は 10% を超える と推定しました。この推定は、Anthropic の公式な予測ではなく、Hubinger 氏個人の評価です。X でのフォローアップ投稿では、Anthropic の公式リスク評価報告書を引用しつつ、Hubinger 氏は「現在のモデルからのリスクは低い。私が懸念しているのは、再帰的自己改善から生じる超知能です。私たちが述べてきたように、それは考えていたよりも速く進んでいます」と付け加えました。以下の投稿で確認できます。

しかし、Coxon 氏の懸念と Hubinger 氏の推定は、高度な AI をめぐる同じ居心地の悪い疑問を指し示しています。

AI 安全性の研究者たちは長年アライメントに取り組んできました。これは大まかに言えば、強力な AI システムが人間の意図に沿って動作するようにすることです。とはいえ、仮想的な超知能システムを制御するための保証された解決策はまだありません。研究者がそうしたリスクを管理する方法を完全に理解する前に、技術が大幅に進歩する可能性があります。

AI 競争に減速の兆しはほとんど見られない

初期の生成 AI ブームの頃は、懸念は主に誤情報、雇用、悪用に集中していました。今日では、研究者たちははるかに深刻な結果について議論することが増えています。こうした警告が最終的に妥当に見えるのか、それとも極端に悲観的だったのかは不明です。

ますます高性能になる AI システムへの懸念は、根拠のないものではありません。OpenAI の GPT-6 Astra は、報道によると ARC-AGI-3 で 99.9%、ExploitBench で 100% のスコアを記録しており、こうしたモデルの進歩の速さを浮き彫りにしています。同時に、OpenAI は AI エージェントがドイツ語のプログラミング wiki を通じて連携した事例を認めており、自律システムが悪用されたり予期しない動作をしたりするかもしれないとの懸念を強めています。