Long-Horizon-Terminal-Bench：高密度報酬ベースの評価による長期的ターミナルタスクにおけるエージェントの限界テスト
Long-Horizon-Terminal-Benchは、実験再現、ソフトウェア工学、マルチモーダル解析、インタラクティブゲーム、科学計算など9カテゴリにわたる46の長期的タスクからなるターミナルベンチマークです。タスクを細かいサブタスクに分解し、密な中間報酬と部分点を提供することで、AIエージェントの能力をより包括的に評価します。15の最先端モデルを評価した結果、最強モデルでも部分報酬閾値0.95で15.2%、完全報酬閾値1.0で10.9%の合格率にとどまり、平均合格率はそれぞれ4.3%と1.7%であり、大きな改善の余地があることが示されました。
人工知能エージェントは、短時間で明確に定義されたタスクを自律的に完了する能力を獲得してきました。しかし、既存のターミナルベンチマークの多くは、数分で完了する単純な問題に焦点を当て、最終結果のみで評価されています。この設定では、中間の進捗や部分的な解決策が見落とされ、疎な報酬信号しか得られず、エージェントの能力を不完全にしか把握できません。この問題に対処するため、複数の研究機関のチームがLong-Horizon-Terminal-Benchを提案しました。これは、実験再現、ソフトウェア工学、マルチモーダル解析、インタラクティブゲーム、科学計算など9つのカテゴリにわたる46の長期的タスクからなるターミナルベンチマークです。
各タスクはターミナルベンチ形式に従い、参照ソリューションやシミュレーションエンジンを備えていますが、さらに細かい段階的なサブタスクに分解されています。この設計により、密な中間報酬と部分点が可能となり、エージェントが最終目標に到達したかどうかだけでなく、オープンエンドなワークフロー上でどこまで進んだかを評価できます。例えば、ソフトウェア工学のタスクはコード作成、テスト、デバッグなどの複数のサブステップに分解され、各ステップで独立にスコアが与えられます。
Long-Horizon-Terminal-Benchのタスクは、通常、数百エピソードと数分から数時間の実行時間を必要とし、一度きりの問題解決ではなく、長期的な計画、長いコンテキストの管理、反復的なデバッグを重視します。研究チームは15の最先端モデルを評価したところ、エージェントはタスクあたり平均990万トークンを消費し、約231エピソード、実行時間85.3分を要することがわかりました。これは、従来のターミナルベースのベンチマークよりもはるかに要求が厳しいものです。評価結果は厳しいものでした：最強のテストモデルでも、部分報酬閾値0.95での合格率は15.2%、完全報酬閾値1.0では10.9%にとどまり、全モデルの平均合格率はそれぞれ4.3%と1.7%でした。これらの結果は、長期的ターミナルタスクにおける現在のエージェントの性能に大きな改善の余地があることを示しています。
さらに、チームは失敗モードやエラーパターンを詳細に分析し、長いコンテキストの喪失や計画と実行の不一致などの共通のボトルネックを特定しました。そして、Long-Horizon-Terminal-Benchをタスク定義、評価コード、データ分析ツールとともに公開し、コミュニティが標準化された再現可能なテストプラットフォームを利用できるようにしました。このベンチマークは、自動化された科学研究や複雑なシステム運用など、より複雑で現実的なタスクシナリオにおけるAIエージェントのブレークスルーを加速することが期待されます。