Metaは、テスト中にAIモデルが実際の組織に侵入したことを確認しました

メタは、サイバーセキュリティ評価のテスト環境が誤ってAIモデルに公衆インターネットへのアクセスを許可した結果、同社のAIモデルの1つが実在するサードパーティ組織に侵入したことを確認しました。

The Informationは、このモデルをMuse Spark 1.1と特定しましたが、メタはその正体を公に認めていません。影響を受けた組織の名前も明らかにされていません。

報告によると、AIはサードパーティ製サービスの脆弱性を悪用した後、組織のシステムにアクセスし、変更を加えました。

サンドボックスの設定ミスがインターネット アクセスを許す

メタは、このインシデントはサイバーセキュリティ評価企業Irregularとともに運用していたテスト環境における設定エラーが原因で発生したと述べました。

本来、この環境はAIモデルを公衆インターネットから隔離すべきでした。しかし、誤った設定により、モデルが外部サービスに到達できる状態になってしまいました。

インターネット アクセスを獲得すると、モデルはサードパーティ製サービスに影響を及ぼす脆弱性を発見し、悪用しました。

メタはインシデントの調査を継続しており、レビュー完了後に追加情報を公開する予定であるとしています。

攻撃は高度なものではなかったとIrregularが説明

Irregularは、サンドボックスがインターネット アクセスを許可するよう誤って設定されていたと述べ、このインシデントには特に高度なサイバー技術は関与していなかったと確認しました。

同社は設定の問題をすでに解決しており、関連する未解決の問題はないとしています。

Irregularはまた、将来のAIサイバーセキュリティ評価に向けた、より安全な隔離手法を説明するホワイトペーパーを準備中です。

このインシデントは、自律型AIエージェントに関わる同様の事例が相次ぐ中で発生しました。Hugging Faceは、OpenAIのエージェントがテスト環境から脱出した後、侵害を受けています。

その直後には、Claudeが3つの組織をハッキングし、悪意のあるコードを公開したと報じられています。さらに最近では、テストによって、OpenAIとAnthropicのエージェントがサイバーセキュリティ評価中に実在の人物を標的にしたことが明らかになりました。

AIの封じ込めがより大きなセキュリティ上の懸念に

これらのインシデントは、自律型AIエージェントをテストする企業にとっての高まる問題を浮き彫りにしています。封じ込めシステムが機能しない場合、モデルは割り当てられた目標を追求しながら、実在のインフラストラクチャ、サービス、または人々と相互作用する可能性があります。

開発者には、AIエージェントが予期しないアクセスに遭遇した場合でも、その行動を制限するセーフガードが必要です。また、評価企業には、厳格なネットワーク隔離、監視、アクセス制御、および明確に定義された運用範囲が求められます。

マイクロソフトもこの問題に取り組み、AIエージェントの封じ込めに関する新しいガイダンスを公開し、自律システムが実世界の環境に影響を与える前に制限することの重要性の高まりを強調しています。