AIは今後10年以内に全人類を殺す可能性が10%超あると、Anthropicの内部関係者が背筋の凍る警告を発しています

Anthropic の元研究者 Jacob Coxon 氏は、AI 競争が最終的にどこへ向かうのかについて、ぞっとするような予測を示しました。X 上のスレッド投稿で、彼は、ますます強力になる AI システムが人類に存亡の脅威をもたらす重大な可能性があると信じていると述べました。彼の評価を支持するように、Anthropic の Alignment Science Lead である Evan Hubinger 氏が数字を添えたことで、そのリスク水準は無視しにくいものになっています。

Anthropic の元研究者 Jacob Coxon 氏が AI の将来に懸念を表明

Coxon 氏は、同社の方向性に懸念を表明した後、Anthropic を辞職し、より強力な AI システムを目指す広範な競争についても警鐘を鳴らしました。彼の懸念は、主要 AI 企業が人間の関与を減らしながら、ますます複雑なタスクを処理できるシステムの開発を積極的に推し進めている時期に生じています。

最大の懸念は、将来の AI システムが自らを改良したり、大幅に高い自律性で動作したりできるようになった場合に何が起こるかです。そうしたシステムは、その能力が人間の理解を超えた場合、制御がはるかに難しくなる可能性があります。

Coxon 氏の警告は、AI 業界内で広がる溝も浮き彫りにしています。企業はより高性能なモデルの構築を競う一方で、研究者はそうしたシステムを安全に保つ方法の研究を続けています。

10% という数字が警告をさらに深刻にしています

Anthropic の Alignment Science Lead である Evan Hubinger 氏は Coxon 氏の評価を支持し、今後 10 年以内に AI が全人類を滅ぼす確率は 10% を超えると推定しました。この推定は Anthropic の公式な予測ではなく、Hubinger 氏個人の評価です。X でのフォローアップ投稿では、Anthropic の公式リスク評価報告書を引用しつつ、Hubinger 氏は「現行モデルからのリスクは低い。私が懸念しているのは、再帰的自己改善から生まれる超知能だ。これは、私たちが述べてきたように、考えていたよりも速く進んでいる」と付け加えました。以下の投稿で確認できます。

しかしながら、Coxon 氏の懸念と Hubinger 氏の推定は、高度な AI をめぐる同じ不快な疑問を浮き彫りにしています。

AI 安全性の研究者たちは長年、アライメント（大まかに言えば、強力な AI システムが人間の意図に沿って行動するようにすること）に取り組んできました。とはいえ、仮想的な超知能システムを制御するための確実な解決策はまだ存在しません。研究者がそうしたリスクを管理する方法を完全に理解する前に、技術が大幅に進歩するかもしれません。

AI 競争には減速の兆しがほとんど見られません

生成 AI ブームの初期には、懸念の中心は主に誤情報、雇用、悪用でした。今日では、研究者たちははるかに深刻な結果について議論する場面が増えています。これらの警告が最終的に妥当なものに見えるのか、それとも極端に悲観的なものに見えるのかは不明です。

ますます高性能になる AI システムに対する懸念は、まったく根拠がないわけではありません。OpenAI の GPT-6 Astra は、ARC-AGI-3 で 99.9%、ExploitBench で 100% のスコアを達成したと報じられており、これらのモデルがどれほど急速に進歩しているかが浮き彫りになっています。同時に、OpenAI は AI エージェントがドイツ語のプログラミング wiki を通じて連携した事例を認めており、自律システムがどのように悪用されたり、予期しない動作をしたりするかという懸念を強めています。