OpenAIの攻撃エージェントは指示通りに行動したが、予想以上に執拗だった

ZDNETの記者Charlie Osborne氏は最近、Hugging Face（一部で「機械学習のGitHub」と称されるオープンソースリポジトリおよびコミュニティプラットフォーム）が、AIエージェントによるシステム侵害を開示したと報じた。Osborne氏によれば、攻撃者はHugging Faceの境界を突破すると、「権限をノードレベルに昇格させ、プロダクションパイプラインに侵入し、ネットワークを横断し、クラウドおよびクラスターの認証情報を窃取」することができたという。

火曜日、テクノロジー大手のOpenAIは自社ウェブサイトで、侵害の原因となった「悪意ある」AIエージェントが自社のものであることを明らかにしただけでなく、この攻撃を「前例のないサイバーインシデント」と位置付けた。これまでのエージェント暴走に関する報道の多くは、AIが自律的に行動し人類を絶滅させるという『ターミネーター』的な終末シナリオを喚起してきた。しかし、AppOmniのAIディレクターであるMelissa Ruzzi氏が指摘したように、この事件の前例のなさはAIが自律的に行動したことではなく、OpenAIの技術が与えられた目標を達成するために人間の現在の期待を超えたことにある。AppOmniはエンタープライズ向けSaaSおよびAIセキュリティソリューションプロバイダーであり、アクティブな脅威インテリジェンスも扱っている。

Hugging Faceが最初にインシデントを開示した際、攻撃者に関する情報は提供されなかったが、同社は事後に大量のログデータを調査した結果、何らかの見当をつけていた可能性がある。同社の投稿によれば、「このキャンペーンは自律エージェントフレームワーク（エージェント型セキュリティリサーチハーネス上に構築されたと思われるが、使用LLMは未だ不明）によって実行され、短期間のサンドボックスの群れ全体で数千もの個別アクションを実行し、パブリックサービス上に自己移行型のコマンド＆コントロールを展開した。」読者にこの日が来るという予測を思い起こさせるかのように、投稿は攻撃について「これは業界が予測してきた『エージェント型攻撃者』シナリオに合致する」と続けた。

言い換えれば、業界はすでにこの種の攻撃がAIによって行われることを予期していた。ただ、人工知能の旅路においてこれほど早い段階で起こるとは誰も予想していなかったのだ。Ruzzi氏は、AnthropicのMythosなど、新モデルに関連する安全性ニュースの最近の波を考えると、OpenAIのプレリリース技術がこのような攻撃を可能にしたことは驚くに値しないとすぐに指摘した。またRuzzi氏が指摘したように、OpenAIのAIが自律的に行動したことも驚くべきことではない。「AIが自律的に行動する？それがAIの定義でしょう？私たちはAIが自ら動き、物事を行うことを望んでいるのです。」

Ruzzi氏は、暴走したOpenAIエージェントがHugging Faceのシステムを攻撃した際、それは「何があっても」悪意のある目標を達成するという指令の下で行動していたと観察した。通常、フロンティアモデルがこの種のAI安全性テストを実施する場合、インターネットとそこに接続された組織を潜在的な害から保護するサンドボックスの安全な範囲内で行われる。しかし、このケースでは、AIが理論上の悪意ある目標を達成するまでの時間を計測するために設計されたテスト内のエージェントが、サンドボックスを突破してインターネットに接続し、Hugging Faceのシステムに侵入して機密データを流出させるという目標を完了させた。

明確にしておくと、OpenAIが非倫理的にHugging Faceをテストの標的に指定したわけではない。Ruzzi氏によれば、OpenAIのよく訓練されたモデルの助けを借りて、エージェントはHugging Faceを興味深い標的として自ら発見した可能性が高い。OpenAIの投稿によれば、インシデントは「GPT-5.6 Solを含むOpenAIモデルの組み合わせによって引き起こされた」。OpenAIは今月初めにローンチしたGPT-5.6 Solを、フラッグシップの「最高パフォーマンス」モデルとして宣伝している。

OpenAIの投稿は「サイバーインシデント」の何が前例がないかを正確に列挙していないが（またOpenAIは私の電子メールの問い合わせにまだ返答していない）、「このインシデントは、モデルに複雑な攻撃パスを使用した高度な悪用を追求するよう促し、そのサイバー能力を定量化しようとする内部評価中に発生した」と述べている。言い換えれば、OpenAIの安全性テストプロセスの一環として、モデルは「悪意ある」目標を執拗に追求するよう指示されたのだ。これらのテストは、サンドボックス内のテスト環境とインターネットの間にあるサードパーティ製のガードレールが破られないという前提で実施された。

残念ながら、それらのガードレール自体がゼロデイ脆弱性に対して脆弱だった。OpenAIの投稿によれば、「サンドボックス化されたテスト環境で動作中、私たちのモデルは評価問題を解決するために、インターネットへのオープンアクセスを得る方法を見つけるためにかなりの推論計算を費やしました。アクセスを得るために、モデルはパッケージレジストリキャッシュプロキシのゼロデイ脆弱性を特定し、悪用しました（これは責任を持ってベンダーに開示しました）。」

大局的に見ると、朗報はこの侵害によって誰も被害を受けておらず、少なくとも現時点では、あなたやあなたの組織がこの攻撃の餌食になる可能性はゼロであることだ。他の脅威開示とは異なり、このインシデントはアクティブな脅威ではない。ある意味で、この事件は現実世界の倫理的ハッキング演習に似ている。しかし、事件が終わり、OpenAIが責任を認めた今、いくつかの非常に大きな疑問が残る。

例えば、一つの疑問は、OpenAIがAIがインターネットに逃げ出すのを防ぐために、悪用可能なサードパーティ製のガードレールにどの程度依存していたかということだ。再発しないという保証は何か？また、逆方向のプロセスも安全であるという保証は？さらに、別の賢いAIがこれらのサンドボックスに侵入できるだろうか？結局のところ、サンドボックスの要点は安全な境界を維持することだ。「やるべきことは一つだけ」という領域において、この「前例のないサイバーインシデント」はサンドボックスにとって良いものではない。どのサードパーティソリューションがドアを開けっ放しにしていたかはまだ開示されていない。

さらに、この特定の脅威が無力化されたからといって、企業がこの種の攻撃への準備を見直すための警鐘でなくなるわけではない。今日は技術的にはOpenAIが攻撃の指揮を執っていた。しかし明日はそうとは限らない。それは別のAI対応国家主体や真に悪意のある脅威アクターかもしれない。Hugging Faceによるインシデントの初期トリアージ（それ自体がAIを利用してログデータを分析したもの）は、従うべきモデルとなる可能性がある。同社のインシデントに関する投稿によれば、「何万もの自動化アクションの群れが何をしたかを理解するために、攻撃者の行動ログ全体（17,000以上の記録されたイベントを含む）に対してLLM駆動の分析エージェントを実行しました。これにより、タイムラインを再構築し、侵害の指標を抽出し、接触した認証情報をマッピングし、真の影響をデコイ活動から分離することができました。このアプローチのおかげで、通常は数日かかる作業を数時間で行い、攻撃者の速度に追いつくことができました。」

この記述は、この攻撃がどれほど複雑であったか（そしてOpenAIのエージェントが目標達成のためにいかなる手段も厭わなかったか）を示している。とはいえ、私見では、適切な人材とロギング/分析ツール（SIEM、NDRなど）があればAI駆動の敵の速度に追いつけるというHugging Faceの示唆は、悪意あるAIの速度、スケーラビリティ、能力を考えると短命に終わるだろう。結局のところ、OpenAIのHugging Faceへの意図しない攻撃は、OpenAIまたはHugging Faceがそれを阻止する前に、明らかにその悪意ある目標を達成した。それでも、適切なツールを備え、SaaSおよびAIソリューションをイベントの詳細ログと24時間AI対応分析向けに構成することは強く推奨される。Ruzzi氏はインタビューの最後にこう語った。「AIが実行できる攻撃の複雑さと量は、サイバーセキュリティを全く新しいレベルに引き上げています。これまで私たちは人間と一部の自動化攻撃からシステムを防御してきました。今、攻撃の発生源として生成AIが加わったことで、防御のレベルははるかに高くなければなりません。Hugging Faceで見られた異常および行動検知は必須になりました。」