最先端AI能力を測定するためのオープンワールド評価
ベンチマークベースの評価はAIの進展を追跡する上で重要ですが、正確に仕様化でき自動採点が可能で、低予算・短期間で実行できるタスクに偏るため、実際の能力を過大評価または過小評価する可能性があります。本論文では、これらを補完する「オープンワールド評価」を提唱します。これは、長期的で複雑な現実世界のタスクを小サンプルの定性分析により評価するものです。著者らはCRUXプロジェクトを紹介し、AIエージェントがわずか1回の手動介入でiOSアプリの開発と公開に成功した事例を示し、オープンワールド評価が近い将来普及する可能性のある能力の早期警告を提供できると結論付けています。
人工知能の急速な進歩に伴い、最先端AIシステムの能力を正確に評価する方法が重要性を増しています。従来のベンチマークベースの評価は依然として進展を追跡する上で有用ですが、その性質上、正確に仕様化でき、自動採点が可能で、最適化が容易、かつ低予算・短期間で実行できるタスクに偏るため、実際に展開された際の能力を過大評価または過小評価する恐れがあります。この問題に対処するため、複数の研究機関の研究者らは、新たな補完的評価手法として「オープンワールド評価」（open-world evaluations）を提案する論文を発表しました。
オープンワールド評価の核心は、AIシステムに長期にわたる複雑で現実世界のタスクを実行させ、大規模な自動化ベンチマークではなく、小サンプルの定性分析を通じてその性能を評価することにあります。このような評価は実際の応用シナリオにより近く、ベンチマークでは見落とされがちな能力や欠点を明らかにすることができます。論文ではさらに、CRUX（Collaborative Research for Updating AI eXpectations）プロジェクトを紹介しています。このプロジェクトは定期的にオープンワールド評価を実施し、AI開発の早期警戒シグナルを提供することを目的としています。
CRUXの最初の事例として、研究チームはAIエージェントに簡単なiOSアプリケーションの開発とApple App Storeへの公開を指示しました。驚くべきことに、このエージェントはわずか1回の回避可能な手動介入でタスクを完了しました。この結果は、オープンワールド評価が近い将来広く普及する可能性のあるAI能力——例えば、ソフトウェア開発ライフサイクルの複数の段階を自律的に完了する能力——を早期に検出できることを強く示唆しています。
論文の最後では、オープンワールド評価の設計と報告に関する推奨事項が提示されており、タスクの現実性、評価の透明性、結論の頑健性に注意を払うよう求めています。研究者らは、オープンワールド評価とベンチマークは相互補完的であり、両者を組み合わせることでAI能力のより包括的な理解が可能になると結論付けています。