Frontier-Bench は、Terminal-Bench と Harbor のチームによって開発された、エージェント能力を最前線で測定する新しいベンチマークです。Terminal-Bench 3.0として始まり、現在はコミュニティ主導の大規模プロジェクトとして、最も多様で困難かつ高品質なタスクを集めています。
初版 Frontier-Bench v0.1 には、7つのドメインにわたる74のタスクが含まれています。データベース、機械学習、ハードウェア設計、形式検証、ソースコード、仮想マシンイメージ、楽譜、CADファイル、科学分析、定量計算、リバースエンジニアリング、ビジネスプロセス判断など多岐にわたります。現在の最良モデル（Fable 5 や GPT-5.6 Sol など）の通過率は約34%で、非常に高い難易度を示しています。
Terminal-Bench と比較して、Frontier-Bench はいくつかの点で拡張されています。まず、多くの Terminal-Bench タスクが飽和状態にあるため、タスクの難易度が大幅に向上しています。次に、プログラミングやCLI操作だけでなく、より広範な作業タイプをカバーするためにタスクの多様性が増しています。さらに、マルチコンテナネットワークやGPU対応など、環境設定もより豊富になっています。
Frontier-Bench は、CI/CD、セマンティックバージョニング、結果マイグレーションによる継続的改善の仕組みを導入しています。各タスクは人間とエージェントの両方による厳格なレビュープロセスを経て、明確で現実的で過学習を防ぐように設計されています。エージェントはフルツールセットを使用できますが、特定のタスク解決策をオンラインで検索することは禁止されています。
テスト結果は、Terminal-Bench 2.1よりも優れた識別性能を示しています。例えば、Fable 5 と Opus 4.8 の差は Terminal-Bench では4.9ポイントですが、Frontier-Bench では12.7ポイントに拡大しました。コスト分析では、GPT-5.6 Sol は Fable 5 と同等の性能を達成しながら、コストが約40%低く、トークン使用量が約50%少ないことが分かりました。モデルによってトークン使用量とアクション数に異なる戦略が見られます。
Frontier-Bench チームはすでに次のリリースを計画しており、新タスクの追加、多様性の向上、タイムアウトの調整を行う予定です。将来のバージョンではタスクのバージョン管理により、対応するトライアルの再利用、再評価、再実行が可能になり、リーダーボード更新のコストと複雑さを最小限に抑えます。
このプロジェクトは100名以上のタスク貢献者とレビューアによるコミュニティの努力の成果です。Discord と GitHub で継続的に改善を進め、最も正確な方法で最前線の能力を測定することを目指しています。
特別な感謝をタスク貢献者と主任レビューア、およびスポンサー（Modal、Anthropic、OpenAI、Google、Scale AI など）に捧げます。Frontier-Bench は Harbor と Laude Institute によってホストされています。