当一项基准测试的准确率逐渐饱和时，研究界常见的做法是将其退役，并替换为一个更难的版本。然而，一篇新近提交到 arXiv 的论文指出，这种以准确率为中心的评估思路存在明显盲区：它过度偏重单一指标，从而错失了考察智能体（agent）其他六个关键维度的机会。这六个维度分别是：构念效度问题（例如智能体是否走了捷径）、分布外泛化能力、效率、可靠性、模型与脚手架（scaffold）的相对重要性，以及人机协作带来的增益。论文作者以 CORE-Bench Hard 作为案例，系统展示了即便在准确率饱和之后，沿这些维度进行测量依然能够获得关于智能体表现的有价值洞见。
CORE-Bench Hard 是一个用于评估科学代码计算可复现性的基准测试。该论文由 Nitya Nadgir 等共 14 位作者完成，于 2026 年 6 月 23 日提交，归类于 cs.AI（人工智能）方向，arXiv 编号为 2606.26158。研究团队围绕基准饱和之后的生命周期展开三项主要工作。首先，他们揭示了 CORE-Bench Hard 中若干威胁构念效度的问题。这些问题在能力较弱的智能体上难以提前预料，但随着智能体能力提升而逐渐暴露。为应对这些缺陷，作者提出了改进后的基准 CORE-Bench v1.1，并构建了一套分布外任务套件 CORE-Bench OOD，用以检验模型在训练分布之外的表现。
其次，研究发现，尽管准确率已经饱和，CORE-Bench v1.1 仍然是一个有用的测量工具，可以用来评估效率、可靠性、模型本身的性能以及脚手架组件的性能。换言之，一个基准的价值并不只体现在区分模型准确率高低上，它还可以作为一个持续可用的实验平台，帮助研究者厘清模型能力与外围工程组件各自的贡献。
第三，研究团队开展了一项小规模随机实验，测量人机协作在真实世界计算可复现性任务上的增益。结果显示，协作带来了统计上显著的加速，速度提升约为两倍。作者同时指出，这一数字很可能被低估了，因为在纯人工复现的任务中，有约五分之一在达到时间上限时仍未完成，这部分未完成情况可能导致加速幅度被压缩。论文还描述了其他多项发现。
总体而言，该研究提出了一个比主流以准确率为中心的评估范式更为严谨的替代方案。它主张，当基准准确率饱和时，研究者不应简单地将基准退役，而应转向对构念效度、分布外泛化、效率、可靠性、模型与脚手架分工以及人机协作增益等多维度进行系统测量，从而更全面地理解智能体的真实能力与局限。这一思路对智能体评测方法的设计具有直接的参考意义。