IBM Researchは本日、完全なAIエージェントシステムの性能を評価・比較するためのオープンベンチマーク「オープンエージェントリーダーボード」を公開しました。従来の評価がモデルのスコアのみに注目していたのに対し、本リーダーボードはエージェントをモデル、ツール使用、計画、記憶、エラー回復などのモジュールからなる統合システムとして捉え、品質と実行コストの両方を同時に測定します。
研究チームは、AIエージェントの実際の効果は内部のモデルだけでなく、システム全体の構築方法に大きく依存すると指摘します。同じモデルでも、異なるエージェントフレームワークでは結果とコストが大きく異なる可能性があります。そのため、リーダーボードの各エントリは完全なエージェントシステム構成（特定のエージェントとモデルの組み合わせ）であり、6つのベンチマークすべてにおける平均成功率、タスクあたりの平均コスト、各ベンチマークの詳細スコアが表示されます。
リーダーボードは現在、次の6つのベンチマークをカバーしています：SWE-Bench Verified（実際のコードリポジトリのバグ修正）、BrowseComp+（ウェブを横断した複雑な調査）、AppWorld（数百のアプリとアクションにわたる個人タスク）、tau2-Bench航空・小売（企業ポリシーに従ったカスタマーサービス）、tau2-Benchテレコム（テクニカルサポート）。これらのベンチマークは、コーディング、カスタマーサービス、テクニカルサポート、研究など多様な現実世界のシナリオをカバーするように選択されています。
これらのベンチマークを統合するために、研究チームは統一プロトコルを設計しました。各タスクを「タスク（何をするか）、コンテキスト（何を知っているか）、アクションセット（何が許可されているか）」の構造に標準化し、異なるエージェントが各ベンチマークの独自形式に適応する必要なく、統一インターフェースで対話できるようにしました。
初期結果からはいくつかの重要な発見がありました。第一に、汎用エージェントはすでに競争力を持っています。特定のベンチマーク向けに最適化されていない汎用エージェントシステムが、専用に設計されたシステムと同等以上のパフォーマンスを示すケースが複数ありました。第二に、エージェントごとに失敗のパターンが大きく異なります。迅速かつ低コストで失敗するものもあれば、長時間の高コストな実行の末に失敗するものもあります。実験では、失敗した実行のコストは成功した実行よりも20〜54％高く、本番環境では失敗の振る舞いが成功と同様にコストに影響することを示しています。
研究では、モデルの選択が依然として性能の主要な決定要因である一方、エージェントアーキテクチャの役割が急速に重要になりつつあることも明らかになりました。特に、ツールのショートリスト化（エージェントが全ツールを検索する代わりに関連ツールに集中できるようにする）は、テストしたすべてのモデルでパフォーマンスを向上させ、それまで機能しなかった構成を実用的に変えました。
現在リーダーボード上の5つのモデル（オープンウェイトのDeepSeek V3.2とKimi K2.5を含む）の結果は、オープンウェイトモデルが特定の組み合わせでは良いパフォーマンスを示すものの、全体平均では最先端のクローズドソースモデルに18〜29ポイント遅れを取っていることを示しています。
すべての関連リソースはオープンソースとして公開されています。リーダーボードウェブサイトで結果を閲覧、Exgenticフレームワークで評価を再現、方法論と実証分析を詳述した論文も入手可能です。研究チームはコミュニティからの新しいエージェント、ベンチマーク、モデルの貢献を歓迎し、この標準をさらに発展させたいと考えています。
オープンエージェントリーダーボードの公開は、AIエージェント評価が「モデル中心」から「システム中心」へ移行する重要な一歩です。エージェントシステムが複雑化する中、このような包括的で透明性の高い評価手法は、この分野の健全な発展に不可欠です。