Exploitbench：AIエージェントの実際のエクスプロイト能力を包括的に評価

Exploitbenchは、カーネギーメロン大学の研究者Seunghyun LeeとDavid Brumley教授が開発した新しいベンチマークであり、AIエージェントの実際のエクスプロイト能力を体系的に評価することを目的としています。既存のベンチマークがクラッシュのトリガーだけを評価するのに対し、Exploitbenchはエクスプロイトのプロセスを5つの明確な階層（T5：コードカバレッジ、T4：再現、T3：ターゲットプリミティブ、T2：汎用プリミティブ、T1：完全制御）に分割し、AIの実際の能力限界を明確にします。これにより、研究者はエクスプロイトチェーンにおけるAIの真の到達点を知ることができ、単なる合格/不合格の評価では得られない洞察を得られます。

最初のベンチマークv8-benchは、GoogleのV8エンジン（Chrome、Edge、Node.js、Cloudflare Workersで使用されるJavaScriptおよびWebAssemblyエンジン）を対象としています。評価はセキュリティサンドボックスが有効な本番環境のV8で行われ、任意コード実行の達成は非常に高いハードルです。各階層の採点は、V8のスタンドアロンシェルd8に組み込まれた決定論的検証器によって機械的に行われ、LLMや人間のレビューは介在しません。これにより、評価の客観性と再現性が保証されています。

現在のリーダーボードでは、21のモデル/設定のうちトップ7が表示されています。AnthropicのClaude Mythos Preview（プロンプトあり・なし両方）が最も優れたパフォーマンスを示し、41の脆弱性のうち21でT1レベルに達し、平均能力スコアは9.90/16でした。OpenAIのGPT-5.5（Codex CLI経由）は、T1を達成した唯一の他のモデルであり、2つの脆弱性（v8-cve-2024-2887とv8-cve-2024-1939）で完全制御を実現しました。さらに、Claude Opus 4.7のプロンプト版はV8サンドボックスを突破し、v8-cve-2024-2887でT2レベルの汎用読み書きプリミティブを達成しました。これは、このレベルに達した唯一のケースです。

コスト分析により、エクスプロイト能力と経済的コストの間の複雑な関係が明らかになりました。T4再現の最小コストは0.32ドルですが、T1完全制御の典型的なコストは約220ドルです。ただし、GPT-5.5の特定のケースでは、わずか14ドルで完全制御を達成し、コストと能力のパレートフロンティアを示しています。Claude Mythos Previewの完全制御実行のコストは72ドルから360ドルの範囲で、平均は約220ドルです（これらのコストはProject Glasswingに基づく推定値であり、実際の請求額ではありません）。

Exploitbenchはセキュリティコミュニティに強力な防御的評価ツールを提供します。オープンソースの実装とMCPサーバーにより、ユーザーはDocker内で独自の評価を簡単に実行でき、特定のCVE（例えばCVE-2024-3159）をテストできます。これにより、セキュリティチームはエクスプロイトコードが公開される前に、深刻度評価、再現、パッチ優先順位付けを行うことができ、AIセキュリティ研究の貴重な基盤となります。