本週AI序列 #895：OpenAI 展示編碼評估的漏洞在哪裏

OpenAI 對 SWE-Bench Pro 的審計揭示了一個令人不安的事實：精確的分數並不等於有效的評估。該基準測試旨在改進早期編碼評估的不足，包含更長期的任務、更真實的代碼庫，並試圖減少訓練數據污染。在八個月內，前沿模型在其731項公共任務上的性能從23.3%飆升至80.3%。然而，OpenAI 並未將這些提升視為單純的進步，而是提出了一個更根本的問題：有多少提升來自模型，又有多少來自測試本身？

答案令人震驚：OpenAI 估計公共基準測試中大約30%的任務存在缺陷。其代理輔助審計標記了200個任務（佔27.4%）為有缺陷，而由經驗豐富的軟件工程師進行的並行審計則標記了249個任務（佔34.1%）為有缺陷。這些缺陷包括基準測試拒絕正確解決方案、接受不完整方案，或要求模型執行其提示中未指定的行為。

因此，OpenAI 已撤回其之前關於業界採用 SWE-Bench Pro 的建議。這一事件凸顯了編碼基準測試的一個根本問題：它們被設計為可執行的規範，但實際中往往並非如此。OpenAI 的發現表明，編碼代理可能成為審計基準測試本身的關鍵工具，確保評估結果的可信度。未來，我們需要更可靠的評估方法，以避免被看似精確的分數誤導。編碼基準測試的改進不僅關係到模型性能的準確衡量，也影響到整個AI領域的進步方向。OpenAI 此次審計是一次重要的警示，提醒我們重新審視評估指標的有效性。