OpenAIのエージェントはなぜ「脱走」したのか：防げたはずの人為的ミスの連鎖

7月16日、AIコミュニティサイトのHugging Faceが、未知の「自律型AIエージェントシステム」による攻撃を受けたと報告した。大量のトラフィックが同サイトに殺到し、セキュリティログに1万7000件以上のイベントが記録された。その一部は最終的にデータベースに保管されていた秘密情報の外部送信に成功したという。Hugging Faceによると、攻撃者は「限られた内部データセットと、当社サービスが使用するいくつかの認証情報に不正アクセスした」とされ、攻撃は「自律型エージェントフレームワーク（エージェント型セキュリティリサーチ用ハーネスに基づいて構築されたと思われる。使用LLMは依然不明）」によって実行されたようだ。ZDNETの同僚チャーリー・オズボーンがこの侵入を報じている。

5日後の7月21日、OpenAIがこの攻撃の責任を認め、大きな騒動に発展した（他の組織も標的になったとの報告も含む）。メディアはChatGPTが自らの意志と悪意でHugging Faceを攻撃したかのような扇情的な報道を広めたが、実際は違う。OpenAIのAI安全研究者たちが、本来インターネットから隔離された環境で、最新LLMの能力を評価するための安全性テストとして、エージェントに一連のエクスプロイト試行を許可していたのだ。さらに前日には、Anthropicも自社のモデルが安全性テスト中に誤って他組織を攻撃したと同様の開示を行い、火に油を注いだ。（ZDNETの親会社であるZiff Davisは2025年4月、OpenAIがAIシステムの訓練と運用において自社の著作権を侵害したとして提訴している。）

重要なのは、攻撃の責任を負ったのはChatGPT自体ではないということだ。OpenAIの研究者が管理するエージェントが、与えられた評価タスクを遂行する過程で、仮想の壁を越えようと執拗に試みた結果である。人間がエージェントに主体性（エージェンシー）を与え、安全テストの開始からターゲット選定、悪用までの一連の行動を可能にした。その主体性の一部は設計によるものであり、一部はテスト対象だった強力なLLMから継承されたものであり、さらに一部はExploitGymなどのテスト基盤とHugging Faceのインフラに存在した未知の脆弱性によるものだ。

この事件は、理論上は安全なサンドボックスをエージェントが脱出し、Hugging Faceのシステムに被害をもたらした「前例のないサイバーインシデント」と広く評されている。OpenAIは「サンドボックス環境」と言及したが、消息筋によると、実際はサードパーティ製サンドボックスソリューションではなく、サンドボックスを模したファイアウォールだった可能性がある。OpenAIは使用していたソリューションやベンダーの詳細をまだ明らかにしていない。

UCバークレー校のコンピューター科学教授Dawn Song氏は、メールでZDNETに次のように説明した。ExploitGymは本質的に独自のサンドボックスを備えているが、OpenAIのような企業は自由に置き換えることができる。参照実装の主要コンポーネントには、エージェントが到達できる外部サービスを制限するネットワークプロキシとモデルAPIプロキシが含まれる。Song氏は「現在の参照セットアップでは、実際のエージェント実行フェーズ中、アウトバウンドネットワークアクセスは評価に必要なサービスに制限されます。また、LLMプロキシを使用して、プロバイダー側のウェブ検索、リモートURL取得、ホスト型コード実行など、コンテナレベルのファイアウォールを迂回し得るチャネルをブロックしています。OpenAIは自社の内部インフラに合わせてこのアーキテクチャを変更した可能性があり、正確な差異はわかりません」と述べた。

また、ExploitGymチームは開発中に、モデルがタスクの意図を超えて周囲のインフラを調査し、追加の権限や情報を求めようとする行動を観察していた。さらにチームは意図的にモデルにインフラのストレステストを課し、潜在的な弱点を特定・修正していたという。Song氏は、これらの観察結果はインシデント前に別途公開されたわけではないが、評価中に実行環境を探索したり追加情報を求めたりする現象はExploitGymに特有のものではなく、他の研究者も同様の行動を観察・議論していると述べた。

OpenAIは開示文書で「サンドボックス化されたテスト環境で運用中、モデルは評価問題を解くために、オープンインターネットアクセスを取得する方法を見つけることにかなりの推論計算を費やした。アクセスを得るため、モデルはパッケージレジストリキャッシュプロキシのゼロデイ脆弱性を特定し悪用した。この脆弱性はベンダーに責任を持って開示した」と認めている。Song氏は、評価インフラを悪用してサンドボックスから脱出し、無関係な実世界のシステムに侵入することは「セキュリティ境界の違反」であり、ExploitGymの一部ではなく、防止されなければならないと強調した。また、評価インフラ自体を攻撃面として扱い、設計・強制・継続的検証を行うべきだと述べた。

なぜモデルはこれほどまでに脱出に執着したのか。AppOmniのAIディレクター、Melissa Ruzzi氏は、新しいモデルはセキュリティ脆弱性を解決するには最新情報が極めて重要だと認識しており、トレーニング知識だけに依存せず、自ら新しい情報を発見しようとすると説明する。OpenAIのテストモデルが隔離境界に遭遇したとき、彼らは経験豊富な脅威アクターのように、機械の速度で境界に対するペネトレーションテストを実施し、脆弱性を見つけてから横方向に移動し、権限を昇格させ、最終的にインターネットへの経路を発見したとみられる。

この一連の出来事は「AI版の不幸な出来事」とも言えるが、少なくとも一つの合理的な予防策、すなわちExploitGym開発者が自ら実施しているような厳格なアウトバウンドネットワーク制限とプロキシによる遮断を講じていれば防げた可能性が高い。OpenAIは具体的な予防策をまだ明らかにしていない。AIシステムが強力になり、サイバーセキュリティ業務に関与する時代において、評価インフラ自体のセキュリティを継続的に検証することが不可欠だ。