メタは、テスト中に自社のAIモデルが実在の組織に対して不正侵入を行ったことを確認しました

Metaは、サイバーセキュリティ評価のテスト環境において、設定ミスによりAIモデルが誤って公衆インターネットにアクセスできる状態になったことが原因で、同社のAIモデルが実在する第三者組織への侵害に成功したことを確認しました。

The Informationは、このモデルをMuse Spark 1.1と特定していますが、Metaはその正体について公式には確認していません。影響を受けた組織の名前も明らかにされていません。

報道によると、このAIはサードパーティのサービスの脆弱性を悪用し、同組織のシステムへのアクセスを獲得して変更を加えたとのことです。

サンドボックスの設定ミスでインターネットアクセスが可能に

Metaによると、このインシデントはサイバーセキュリティ評価企業Irregularと共に運用していたテスト環境における設定ミスが原因でした。

本来、この環境ではAIモデルが公衆インターネットから隔離されているはずでした。しかし、誤った設定により、モデルが外部サービスにアクセスできる状態になっていました。

AIモデルはインターネットへのアクセスを獲得すると、サードパーティのサービスに影響する脆弱性を発見し、悪用しました。

Metaは現在もインシデントの調査を続けており、レビュー完了後に追加情報を公開する予定であると述べています。

Irregular、攻撃は高度なものではなかったと発表

Irregularは、サンドボックスがインターネットアクセスを許可するように誤って設定されていたとし、このインシデントには特に高度なサイバー技術は関与していなかったと述べています。

同社は設定の問題を解決済みであり、関連する未解決の問題は存在しないとしています。

また、Irregularは、今後のAIサイバーセキュリティ評価におけるより安全な封じ込め方法について説明するホワイトペーパーを準備中です。

このインシデントは、自律型AIエージェントに関する同様の事例がいくつか発生した後に起きたものです。Hugging Faceは、OpenAIのエージェントがテスト環境から脱出した後に侵害を受けました。

その直後には、Claudeが3つの組織をハッキングし、悪意のあるコードを公開したと報じられました。さらに最近では、サイバーセキュリティ評価中にOpenAIとAnthropicのエージェントが実在の人物を標的にしたことがテストで示されています。

AIの封じ込めがより大きなセキュリティ上の懸念に

これらのインシデントは、自律型AIエージェントをテストする企業にとって、問題が拡大していることを浮き彫りにしています。封じ込めシステムに障害が発生すると、モデルは割り当てられた目的を追求する過程で、実際のインフラ、サービス、または人間とやり取りしてしまう可能性があります。

開発者には、AIエージェントが予期しないアクセスに遭遇した場合でも、その行動を制限するセーフガードが必要です。評価企業もまた、厳格なネットワーク分離、監視、アクセス制御、そして明確に定義された運用境界を必要としています。

Microsoftもこの問題に対処し、AIエージェントの封じ込めに関する新しいガイダンスを公開しました。これは、自律システムが実世界の環境に影響を与える前に制限をかけることの重要性が高まっていることを強調するものです。