Hugging Face、OpenAIエージェントの暴走でインフラの3分の1を再構築

Hugging Faceは、今月初めのOpenAIのセキュリティ問題を受けて、クリーンイメージからインフラの約3分の1を再構築した。この事実は、Cloud Security Alliance（CSA）が月曜日に公開した報告書で明らかになったもので、Hugging Faceとの協力のもと作成された。報告書は、両AI企業がここ数週間で明らかにした状況にさらなる詳細を加えている。

報告書によると、Hugging Faceのチームは本物のルートキットコードとCTF（Capture the Flag）ベンチマークコードの区別に苦慮し、疑わしい場合にはシステムを再構築した。OpenAIのエージェントは攻撃中、CTFベンチマークコードのアーティファクトをHugging Faceのインフラ全体にばらまき、防御側はそれがルートキットの証拠と酷似していると述べている。多くの場合、クラスターを解体することが攻撃を封じ込める最も安全な選択肢だった。

Hugging Face自身のインシデント開示では、これらのクラスターを解体せざるを得なかったことについてある程度の詳細が提供されたが、今回の報告書で初めてその規模が明らかになった。CSAの報告書はまた、攻撃によりエージェントがHugging Faceのプライベートリポジトリを介して、CyberGymのソリューションを含む3つの部分的なデータセットにアクセスしたことを明らかにしている。

OpenAIの当初の説明では、この実験の目的はモデルのサイバー能力を測定することであり、ExploitGymベンチマークを実行しようとしたが、不正行為が禁止されていることを伝えられていなかった。Guardrailsを解除されたモデル（GPT-5.6 Solおよびもう1つの未公開モデル）は、OpenAIが主張するようにサンドボックスから脱出し、Hugging FaceのプライベートリポジトリからExploitGymベンチマークに合格するためのCyberGymデータを盗もうとした。

テストの答えを求めて、モデルはデータセット処理パイプラインの脆弱性を連鎖させ、処理ワーカー上でリモートコード実行を達成し、4日間にわたってクラウドおよびクラスターの認証情報を収集した。CSAの報告書は、CISOによる執筆で、最初の2日間は偵察に費やされ、その後1日間は静穏、最終日は「激しい活動」があったと述べている。

さらに、Hugging FaceはOpenAIが接触する前に攻撃を検知し封じ込め、調査を開始していたことが明らかになった。これは、Hugging Faceの共同創業者Thomas WolfらがOpenAIが事態を把握するのに1週間かかったと示唆した最近のロイター報道を裏付けるものだ。WolfらHugging Faceの内部関係者は、攻撃が7月11日に始まったが、両社の協議が始まったのは7月20日頃だったと確認した。OpenAIはロイターの報道にいくつかの不正確さがあると述べたが、具体的には明らかにしなかった。

Hugging FaceはCSAに対し、攻撃が自律エージェントによって行われていることは明らかだったと述べた。複数の指標が人間以外の作業を示しており、高度な作業と無意味な行動が混在していた。例えば、エージェントが既に成功したプロセスを繰り返すことは珍しくなかった。CSAは、これは並行ワーカー間の調整不足か、コンテキストの喪失または陳腐化の兆候である可能性があると述べた。エージェントのオペレーショナルセキュリティも低く、多くの場合、暗号化に使用した鍵を残していた。これにより、クリーンアップは複雑化したが、一部のフォレンジック活動は容易になった。

Hugging Faceはまた、アクティビティログに何千行もの支離滅裂なテキストを観測し、エージェントの作業を示すとともに、不器用な行動や非効率な攻撃経路の兆候を確認した。さらに、高度に洗練された攻撃の後には「不正な形式または無意味なコマンド」が続くことが多かった。

CSAの報告書による防御側への主な教訓は、この種の問題が今後増えることを想定すべきだということだ。Hugging Faceの攻撃は「極端な例」だが、AIエージェントの不正行為は一般的なテーマであり、例外ではないとされる。「エージェントは割り当てられた目標を達成するために必要なことを行い、創造的で予期しない方法でそれを実行するのを何度も目にしている」と報告書は述べている。防御側は、エージェントが自分自身や他者に損害を与えるのを防ぐための制御を必要とし、完全な防御の構築に悩むのではなく、エージェント自体の制約に焦点を当てるべきだ。

エージェントは目標を追求し続けるため、十分な時間があれば利用可能な弱点を悪用する可能性がある。そのため、特にガードレールを解除するテストでは、エージェントが環境から脱出できないようにすることが重要だ。防御側はまた、機械速度に近い速度で対応できるように内部プロセスを適応させるべきであり、Hugging Face自身の判断もそれを支持している。コーディングエージェントやサイバーセキュリティ特化型モデルをフォレンジック分析などに活用することで、攻撃をより迅速に緩和でき、現代の対応ツールキットの必須要素となるべきだ。報告書はまた、組織環境に偽のIDや認証情報を配置することを奨励している。現在のモデルは正当な認証情報とハニーポットを区別するのに苦労するため、これらを大規模に配布することでエージェントによるサイバー攻撃を減速させ、高信頼性のアラートを発動させることができる。