ベンチマークの精度が飽和すると、そのベンチマークはしばしば廃止され、より困難なバージョンに置き換えられる。しかし、最近の論文は、このような精度中心の評価パラダイムが、エージェント性能の他の6つの重要な次元を見過ごしていると指摘する。それらの次元とは、構成概念妥当性の問題（ショートカットなど）、分布外汎化性、効率性、信頼性、モデルとスキャフォールドの相対的重要性、そして人間とエージェントの協働による向上である。研究者らは、科学コードの計算再現性を評価するベンチマークであるCORE-Bench Hardをケーススタディとして用い、精度が飽和した後でもこれらの次元に沿ってエージェントを測定することで、有意義な洞察が得られることを示した。
まず、研究チームはCORE-Bench Hardにおける構成概念妥当性の脅威を明らかにした。これらの脅威は、能力の低いエージェントでは予測が難しいものである。これに基づき、彼らは改良版ベンチマークであるCORE-Bench v1.1と、分布外タスクスイートであるCORE-Bench OODを導入した。これにより、エージェントの汎化能力をより包括的に評価できるようになる。
次に、CORE-Bench v1.1の精度は飽和しているものの、このベンチマークが効率性、信頼性、モデル性能、スキャフォールド性能の測定に依然として有用であることを発見した。つまり、精度が向上しなくなっても、ベンチマークは豊富な評価シグナルを提供し、研究者がさまざまな条件下でのエージェントのパフォーマンスを理解するのに役立つのである。
最後に、研究者らは実世界の計算再現タスクにおける人間とエージェントの協働の向上効果を測定するために、小規模なランダム化実験を実施した。実験の結果、人間とエージェントの協働は統計的に有意な速度向上をもたらし、速度は約2倍になった。研究者らは、この向上は過小評価されている可能性があると指摘する。なぜなら、人間だけによる再現の5分の1が完了前に時間制限に達したからである。さらに、論文では他のいくつかの発見も述べられている。
全体として、この研究の貢献は、現在支配的な精度中心の評価パラダイムに代わる、より厳密な代替案を提示することにある。多次元評価を通じて、研究者はエージェントの能力と限界をより完全に理解し、より効果的なAIシステムの開発を推進できる。本論文はNitya Nadgir氏ら14名の著者によって執筆され、2026年6月23日にarXivに提出された。分野は人工知能（cs.AI）である。