ベンチマークに基づく評価は、フロンティアAIの進歩を追跡する上で依然として重要である。しかし新しい論文は、こうした評価が実際の展開能力を過大評価したり過小評価したりする可能性があると指摘する。ベンチマークは、正確に指定でき、自動で採点でき、最適化しやすく、低予算・短時間で実行できるタスクを優先する傾向があるためだ。
このギャップを埋めるため、著者らは「オープンワールド評価」と呼ぶ補完的な評価の枠組みを提唱している。これは、長期間にわたる雑多で実世界のタスクを対象とし、ベンチマーク規模の自動化ではなく、小規模サンプルによる定性分析を通じて評価するものである。オープンワールド評価の狙いは、標準化されたベンチマークでは捉えにくい能力の次元、たとえば複雑な環境で計画を立て続ける力、予期せぬ事態に対処する力、エンドツーエンドの実務ワークフローを完遂する力を評価することにある。
論文は最近のオープンワールド評価を概観し、その強みと限界を特定した上で、CRUX（Collaborative Research for Updating AI eXpectations）プロジェクトを紹介する。CRUXは、こうした評価を定期的に実施し、フロンティアAI能力の継続的な追跡体制を築くことを目指している。
CRUXの最初の事例として、研究チームはAIエージェントに簡単なiOSアプリを開発しApple App Storeで公開するタスクを与えた。エージェントは、回避可能な手動介入をわずか1回行っただけでタスクを完了した。この結果は、オープンワールド評価が、まもなく広く普及する可能性のある能力の早期警告を提供できることを示唆している。論文は最後に、オープンワールド評価の設計と結果報告に関する具体的な提言を行っている。
本論文はSayash Kapoor氏ら18名の著者によるもので、2026年5月19日に提出され、cs.AI分野に属し、arXiv番号は2605.20520である。