エージェント型ベンチマークの増加に伴い、言語モデルエージェントの性能を評価することはますます困難になっている。多くのベンチマークは複雑な環境やエージェント連携を必要とするためだ。arXivに投稿された本論文（番号：2609.04298）は、Lin Shi氏ら120名の著者によって2026年9月3日に提出され、統一評価インフラ「Harbor Adapters」と、厳選されたメタデータセット「Harbor-Index」を提案している。
第一の貢献として、研究チームは80以上のベンチマークを任意のエージェントで評価できるようにするアダプタ群を開発した。単に接続するだけでなく、厳密なコードレビューとパリティ実験を通じて、アダプタ化後も各ベンチマークの本来の意味や難易度が保たれていることを確認している。これにより、公平で再現可能なエージェント評価の基盤が築かれる。
第二の貢献は、大規模評価実験である。異なる能力層にわたる8つのモデルを、54のベンチマークで徹底的に評価した。各モデルはTerminus-2と、3つのネイティブハーネスのいずれかと組み合わせて実行され、これまでにない広がりでエージェントの能力と失敗パターンを観察できるようになった。この設計は、エージェントの限界を体系的に理解し、今後の改善に役立つ豊富な実証データを提供する。
第三の貢献であるHarbor-Indexは、適応済みベンチマーク群から厳選されたデータセットだ。難易度フィルタリング、AIと人間による監査、監査と修正を繰り返すループを経て、29のベンチマークにわたる82の難しく多様な高品質タスクが選ばれた。評価の結果、どのモデル・ハーネス構成も正解率30%を超えず、最強のGPT-5.5 with Codexでも28.0%にとどまった。Harbor-Indexは大規模エージェント評価の挑戦的な性質と広がりを保ちつつ、手頃なコストで実行できることを示している。
著者らは、アダプタ、評価結果、詳細な分析、そしてHarbor-Indexをすべてオープンソースとして公開する。これにより、言語モデルエージェントのより信頼性が高く包括的な評価がコミュニティで進むことが期待される。