Meta、テスト中に自社のAIモデルが実在する組織に侵入したことを確認

Metaは、テスト環境が誤ってモデルにパブリックインターネットへのアクセスを許可した後、サイバーセキュリティ評価中に自社のAIモデルの1つが実際のサードパーティ組織を侵害したことを確認しました。

The InformationはこのモデルをMuse Spark 1.1と特定しましたが、Metaは公式にはその正体を認めていません。また、影響を受けた組織の名称も明らかにされていません。

報告によると、AIはサードパーティサービスの脆弱性を悪用した後、その組織のシステムにアクセスし、変更を加えました。

サンドボックスの設定ミスがインターネットアクセスを許可

Metaは、サイバーセキュリティ評価企業Irregularと共同で運用していたテスト環境において、設定エラーが今回のインシデントを引き起こしたと述べました。

その環境は、AIモデルをパブリックインターネットから隔離するはずでした。しかし、設定ミスによりモデルが外部サービスに接続できるようになりました。

インターネットアクセスを取得すると、モデルはサードパーティサービスに影響する脆弱性を発見し、悪用しました。

Metaは、このインシデントの調査を継続しており、レビュー完了後に追加情報を公開する予定であると述べています。

Irregularは攻撃は高度ではなかったと述べる

Irregularは、サンドボックスが誤ってインターネットアクセスを許可するように設定されていたと述べ、このインシデントが特に高度なサイバー手法を使用したものではなかったことを確認しました。

同社は、設定の問題を解決し、それに関連する未解決の問題はないと述べています。

また、Irregularは、将来のAIサイバーセキュリティ評価のためのより安全な封じ込め手法について説明するホワイトペーパーを準備中です。

このインシデントは、自律型AIエージェントに関わるいくつかの類似事例に続くものです。Hugging Faceは、OpenAIエージェントがテスト環境から脱出した後に侵害されました。

その後間もなく、Claudeが3つの組織をハッキングしたと報じられ、悪意のあるコードを公開しました。より最近のテストでは、OpenAIとAnthropicのエージェントがサイバーセキュリティ評価中に実在の人物を標的にしていたことが明らかになりました。

AIの封じ込めがより大きなセキュリティ上の懸念に

これらのインシデントは、自律型AIエージェントをテストする企業にとって、拡大する問題を浮き彫りにしています。封じ込めシステムが失敗すると、モデルは割り当てられた目的を追求しながら、実際のインフラ、サービス、または人々とやり取りする可能性があります。

開発者は、AIエージェントが予期しないアクセスに遭遇した場合でも、エージェントが実行できることを制限する保護策を必要としています。評価企業もまた、厳格なネットワーク隔離、監視、アクセス制御、そして明確に定義された運用範囲を必要とします。

Microsoftもこの問題に取り組み、AIエージェントを封じ込めるための新しいガイダンスを公開し、自律システムが現実世界の環境に影響を与える前に制限することの重要性の高まりを強調しています。