自律型AI侵入が現実に：Hugging Face侵害から学ぶ教訓

Hugging Faceは最近、自律型AIエージェントシステムによって最初から最後まで駆動されたセキュリティ侵害を開示しました。この事件は、Sysdigが報告したJADEPUFFERランサムウェア（リアルタイム適応型のエージェント駆動ランサムウェアと評価）と同様の手法を示しています。Hugging Faceの開示は、自律型AI侵入、防御の非対称性、IOC（侵害指標）の欠如という3つの重要な問題を浮き彫りにしました。

侵入は悪意のあるデータセットから始まり、攻撃者はデータ処理パイプライン内の2つのコード実行経路（リモートコードデータセットローダーとデータセット設定のテンプレートインジェクション）を利用して足場を築きました。その後、AIエージェントはノードレベル（ホスト）アクセスを獲得し、クラウドおよびクラスターの認証情報を収集し、複数の内部クラスターに横方向に移動しました。このフレームワークは短命なサンドボックス環境で数万回の自動化アクションを実行し、17,000件以上の攻撃者アクションログを残しました。Hugging Faceの異常検出パイプライン（LLMベースのトリアージ）が最初にこれを検知しました。

攻撃者が使用したLLMは不明ですが、Hugging Faceはエージェントがオープンソースの研究用エージェントをベースに構築された可能性があると述べています。Hugging Faceは根本原因を特定して修正し、攻撃者の足場を排除して影響を受けたシステムを再構築しました。また、アクセストークンのローテーションとアカウントアクティビティの確認を推奨しています。

この事件で最も重要な教訓は防御の非対称性です。Hugging Faceは当初、商用API経由で先端モデルを使用して攻撃者の行動を分析しようとしましたが、プロバイダーの安全ガードレールがフォレンジック作業を繰り返し妨害しました。そのため、Hugging Faceは中国のオープンウェイトモデルGLM 5.2に切り替え、自社インフラで実行しました。ローカルモデルにより、チームは侵入分析を継続でき、攻撃者データやログに含まれる認証情報が環境外に流出するのを防ぐことができました。

さらに、Hugging Faceの公開開示には、ペイロードハッシュ、C2ドメイン、悪意のあるデータセット識別子、検出ルールなどの実用的なIOCが含まれていません。同社は外部フォレンジック調査が進行中であり、法執行機関にも連絡したと述べているため、今後詳細が明らかになる可能性があります。

防御側への教訓として、自律型AI侵入はすでに実運用段階にあります。AI駆動の操作は、本番環境への侵入、認証情報の収集、横方向移動を実行できます。安全ガードレールはインシデント対応を妨げる可能性があるため、独立したフォレンジックフォールバックを維持することが重要です。組織はインシデント発生時ではなく、事前にローカル展開可能なオープンウェイトモデルを評価し準備することを推奨します。また、インシデント開示には実用的なIOCを含めるべきであり、そうでなければ防御側の価値が低下します。Hugging Faceの事例は、攻撃者がもはや常時人間の操作を必要とせず、自律型フレームワークが攻撃ライフサイクルの大部分を実行し、障害に適応し「マシンスピード」で動作することを示しています。防御側にAIを追加するだけでは不十分であり、ホスト型モデルのガードレールがむしろ正当なフォレンジック作業を妨げる可能性があります。