本周AI序列 #895：OpenAI 展示编码评估的漏洞在哪里

OpenAI 对 SWE-Bench Pro 的审计揭示了一个令人不安的事实：精确的分数并不等于有效的评估。该基准测试旨在改进早期编码评估的不足，包含更长期的任务、更真实的代码库，并试图减少训练数据污染。在八个月内，前沿模型在其731项公共任务上的性能从23.3%飙升至80.3%。然而，OpenAI 并未将这些提升视为单纯的进步，而是提出了一个更根本的问题：有多少提升来自模型，又有多少来自测试本身？

答案令人震惊：OpenAI 估计公共基准测试中大约30%的任务存在缺陷。其代理辅助审计标记了200个任务（占27.4%）为有缺陷，而由经验丰富的软件工程师进行的并行审计则标记了249个任务（占34.1%）为有缺陷。这些缺陷包括基准测试拒绝正确解决方案、接受不完整方案，或要求模型执行其提示中未指定的行为。

因此，OpenAI 已撤回其之前关于业界采用 SWE-Bench Pro 的建议。这一事件凸显了编码基准测试的一个根本问题：它们被设计为可执行的规范，但实际中往往并非如此。OpenAI 的发现表明，编码代理可能成为审计基准测试本身的关键工具，确保评估结果的可信度。未来，我们需要更可靠的评估方法，以避免被看似精确的分数误导。编码基准测试的改进不仅关系到模型性能的准确衡量，也影响到整个AI领域的进步方向。OpenAI 此次审计是一次重要的警示，提醒我们重新审视评估指标的有效性。