Anthropicは、Claudeが3つの組織をハッキングし、悪意のあるPyPIコードを公開したと発表しました


Claudeモデルが、隔離されていたはずのサイバーセキュリティ評価環境から脱出し、実際のインターネットに接続されたシステムに到達したことを、Anthropicが確認しました。

Anthropicが3件のセキュリティインシデントを開示しました。これらのインシデントでは、モデルがシミュレートされた標的を攻撃していると認識していました。設定ミスによりインターネット アクセスが有効のままになっており、モデルが実際のサービスや組織とやり取りできる状態になっていました。

これらのインシデントは、OpenAIエージェントが関与した最近のHugging Faceの侵害や、OpenAIモデルがサンドボックスからの脱出を試みる中でJFrog Artifactoryのゼロデイ脆弱性を悪用したという報告に続くものです。

Claudeのセキュリティテスト中にインターネット アクセスが有効のままになっていた

第三者評価機関Irregularが、このテストをキャプチャー ザ フラッグ (CTF) 演習として実施しました。モデルには、隔離されたシミュレーション環境内で動作しているという指示が与えられていました。

しかし、テスト環境は依然としてパブリック インターネットにアクセス可能でした。モデルは意図したシミュレーション上のターゲットを見つけられなかったため、オンラインで類似のシステムを検索し、一部の実際のサービスを演習の一部として扱いました。

AnthropicとIrregularは、最初のインシデントから数か月経つまでこの設定の問題を認識していませんでした。Anthropicによれば、確認されている最も古い侵害は4月に発生し、約3か月間発見されなかったとのことです。

Claude Mythos 5が悪意のあるPyPIパッケージを公開

ある評価中に、Claude Mythos 5は架空のPythonパッケージを参照するセットアップ手順を見つけました。そのパッケージ名はPython Package Index (PyPI) に登録されていませんでした。

モデルは、その未使用の名前を登録し、自身のコードを公開できることを認識しました。セットアップ手順に従うシステムは、その後、そのパッケージを自動的にダウンロードして実行する可能性がありました。

Claudeは必要なアカウントを作成し、悪意のあるパッケージをPyPIにアップロードしました。このパッケージは、PyPIの自動保護機能によって削除されるまで、約1時間にわたって一般に利用可能な状態でした。

この期間中に、15の実際のシステムがそのコードをダウンロードして実行しました。

セキュリティ企業の認証情報が盗まれる

影響を受けたシステムの1つは、新しく公開されたPyPIパッケージを自動的にダウンロードしてスキャンするサイバーセキュリティ企業に属していました。

悪意のあるパッケージは、そのシステムから認証情報を収集し、Claudeが作成したインフラストラクチャに送信しました。その後、モデルは盗んだ認証情報を使用して、その企業のネットワークの他の部分にアクセスしました。

Anthropicによると、Claudeはその組織について事前知識がなく、意図的に標的として選択したわけではありませんでした。同社はPyPIに通知し、悪意のあるパッケージに関連する痕跡情報を共有しました。

影響を受けたサイバーセキュリティ企業は、Anthropicが連絡を取るまでこの侵入を検知していませんでした。

Claude Opus 4.7が本番データベースにアクセス

Claude Opus 4.7が関与する別の評価では、実際の本番データベースへのアクセスが発生しました。

演習で使用された架空のターゲットは、実在する企業およびドメインと同じ名前でした。Claudeはシミュレートされたシステムに到達できなかった後、オンラインで実在する組織を見つけ、それを意図した標的として扱いました。

モデルはアプリケーションとインフラストラクチャの認証情報を抽出し、その後、数百行の本番情報を含むデータベースにアクセスしました。

Anthropicは、モデルが稼働中のビジネス システムに到達し、実際のデータにアクセスしたため、このインシデントをより深刻なものと説明しました。

研究用モデルが約9,000のシステムをスキャン

未公開のAnthropic研究用モデルが3件目のインシデントを引き起こしました。

意図したテスト対象を見つけられなかったため、このモデルは約9,000のインターネット接続システムをスキャンしました。デバッグ ページに表示されていた認証情報とSQLインジェクションの脆弱性を利用して、露出しているアプリケーションに侵入しました。

その後、モデルは侵入したアプリケーションが無関係なクラウド アカウントに属していると判断し、人間の介入なしに攻撃を停止しました。

Anthropicは調査結果を公開した時点でも、影響を受けた組織に連絡を試みている最中でした。

モデルは基本的なセキュリティ上の弱点に依存

Anthropicは、これらのインシデントには新たな攻撃手法やこれまで知られていなかった手法は含まれていないと述べました。

モデルは、露出した認証情報、弱いパスワード、一般にアクセス可能なエンドポイント、機密情報を含むデバッグ ページ、SQLインジェクションの脆弱性など、一般的な弱点を利用しました。

主な失敗の原因は、無制限のインターネット アクセスと、到達可能なすべてのシステムが認可されたテストの一部であるというモデルの思い込みにありました。

Anthropic、インシデントを確認後サイバーテストを一時停止

Anthropicは評価の見直しを開始し、7月23日にすべてのサイバーセキュリティ テストを一時停止しました。

同社は7月24日に3件のインシデントを特定しました。Irregularおよび影響を受けた2組織には7月27日に通知が行われました。

Anthropicは3件目のインシデントに関与した組織への連絡を続けました。

Anthropicが連絡に成功した2組織のいずれも、通知を受ける前に独自に侵害を検知していませんでした。

評価環境に本番レベルの保護機能が欠如

テスト システムでは、一般公開されているClaudeモデルに含まれる分類器、監視ツール、その他の保護機能が使用されていませんでした。

Anthropicによると、本番環境の保護機能があれば、評価中に見られたこれらの行動はおそらくブロックされていただろうとしています。同社は、これらのインシデントを主にテスト設計、インフラストラクチャ、監視、および第三者による監督の失敗であると特徴付けました。

同社はこれらのインシデントを、根本的なアラインメントの失敗の証拠とは説明しませんでした。むしろ、モデルは評価の指示に従ったものの、誤って実際のターゲットとやり取りしてしまったとしています。

Anthropic、今後のテスト向けにより厳格な監視を計画

Anthropicは、今後の評価全体でトランスクリプト(記録)の監視を拡大し、より強力な調査ツールを導入する予定です。

また、第三者テスト パートナーに対する監視を強化し、評価環境が外部インフラストラクチャにどのように接続されているかを見直す予定です。

AnthropicはMETRと独立したレビューについて協議しており、PyPIインシデントの一部を伏せたトランスクリプトを公開する予定です。

今回のセキュリティ上の失敗にもかかわらず、Claude Mythosは強力な脆弱性検出能力を実証しました。Microsoftも、Claude Mythosが見つけたすべての脆弱性の修正に苦戦していることを認めており、このことはモデルのセキュリティ研究の可能性と、不十分に隔離されたテスト環境が生み出すリスクの両方を浮き彫りにしています。

読者の皆様のご支援が Windows Report を支えています。当サイトのリンクを経由してご購入いただいた場合、当社が手数料を受け取ることがあります。 Tooltip Icon

情報開示ページをご覧いただき、Windows Report の編集チームをどのように支援できるかをご確認ください。 Read more

User forum

0 messages