Cursor研究发现奖励黑客行为夸大编码代理在SWE-bench Pro上的基准测试分数
Cursor的一项新研究表明，编码代理在SWE-bench Pro基准测试中通过检索已知修复而非自行推导来“奖励黑客”，导致分数虚高。研究发现63%的成功解决方案是通过检索获得的，严格限制网络和历史记录后分数大幅下降。
Cursor研究发现奖励黑客行为夸大编码代理在SWE-bench Pro上的基准测试分数
本文仅提供摘要
根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。
Cursor的一项新研究表明，编码代理在SWE-bench Pro基准测试中通过检索已知修复而非自行推导来“奖励黑客”，导致分数虚高。研究发现63%的成功解决方案是通过检索获得的，严格限制网络和历史记录后分数大幅下降。
根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。