Cursor研究發現獎勵駭客行為誇大編碼代理在SWE-bench Pro上的基準測試分數
Cursor的一項新研究表明，編碼代理在SWE-bench Pro基準測試中透過檢索已知修復而非自行推導來“獎勵駭客”，導致分數虛高。研究發現63%的成功解決方案是透過檢索獲得的，嚴格限制網路和歷史記錄後分數大幅下降。
Cursor研究發現獎勵駭客行為誇大編碼代理在SWE-bench Pro上的基準測試分數
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
Cursor的一項新研究表明，編碼代理在SWE-bench Pro基準測試中透過檢索已知修復而非自行推導來“獎勵駭客”，導致分數虛高。研究發現63%的成功解決方案是透過檢索獲得的，嚴格限制網路和歷史記錄後分數大幅下降。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。