这篇由Sayash Kapoor等18位作者共同完成的论文《Open-World Evaluations for Measuring Frontier AI Capabilities》于2026年5月19日提交至arXiv，归类为人工智能（cs.AI），论文编号为arXiv:2605.20520v1。作者在文中指出，基于基准测试的评估方法对于追踪前沿人工智能的进展仍然十分重要，但这类方法存在明显的局限，可能同时高估或低估模型在实际部署中的能力。
作者分析认为，基准测试之所以会产生偏差，是因为它更青睐那些能够被精确描述、可以自动评分、易于针对性地优化，并且能够在较低预算和较短时间范围内完成的任务。换言之，基准分数所反映的往往是“可被基准衡量的能力”，而非模型在真实世界中真正具备的完整能力。这种选择性使得评估结果可能与实际部署表现出现系统性偏离，既可能让外界对模型能力产生过度乐观的判断，也可能低估其在复杂场景下的潜力。
为此，论文倡导建立一类互补的评估方式，并将其命名为“开放世界评估”（open-world evaluations）。这类评估针对的是长周期、混乱且贴近真实世界的任务，评估方式不是依赖基准规模的大规模自动化，而是通过小样本的定性分析来完成。作者认为，这种评估能够捕捉到自动化基准难以覆盖的能力维度，例如在不确定性中做决策、处理多步骤流程、以及应对真实环境中不可避免的摩擦与意外情况。
论文对近期的开放世界评估工作进行了系统性梳理，总结了这类评估方法的优势与局限，并介绍了CRUX项目（Collaborative Research for Updating AI eXpectations，即“协作研究以更新AI预期”）。该项目旨在定期开展开放世界评估，使评估成为一种持续性的实践，而非一次性的研究活动。
作为CRUX的首个实例，研究团队让一个AI智能体完成一项真实任务：开发一个简单的iOS应用并发布到Apple App Store。结果显示，该智能体在完成任务的过程中仅需要一次本可避免的人工干预。作者指出，这一结果说明开放世界评估能够为可能很快普及的能力提供早期预警，帮助研究者和政策制定者在能力广泛扩散之前就有所准备。
论文最后提出了关于如何设计和报告开放世界评估的建议，涉及评估任务的选择、定性分析的组织方式以及结果披露的规范等方面。作者强调，开放世界评估并非要取代基准测试，而是作为其补充，共同构成更完整的前沿AI能力追踪体系。