在程式設計評估中分離訊號與噪聲

OpenAI近日釋出的一項分析指出，廣泛使用的程式設計基準測試SWE-Bench Pro存在若干問題，可能影響其評估AI模型效能的可靠性。該測試旨在衡量模型處理真實世界軟體工程任務的能力，但研究發現，測試中的部分任務設計不當，導致模型可能透過“取巧”而非真正程式設計能力獲得高分。例如，一些任務存在隱含的提示或模式，使模型能夠在不理解問題本質的情況下生成正確輸出。這一問題引發了學界和業界對當前AI評估方法有效性的廣泛討論。OpenAI強調，為了準確衡量AI模型的進步，需要開發更嚴謹、更能反映真實程式設計場景的基準測試。該分析還提出了改進建議，包括增加任務難度、減少資料洩漏以及引入對抗性測試案例。這一發現對於依賴SWE-Bench Pro進行模型比較的研究者而言具有重要警示意義，也提示整個AI社群應重新審視現有評估體系。