精确但脱钩：评审精度不保证多智能体数学推理中的批评采纳

许多面向数学和科学的智能体系统采用层级设计，其中包含专门的评审角色，其核心假设是：一个专门的评审阶段能够帮助将错误的候选答案转化为正确的。然而，一篇发表在arXiv上的新研究对此提出了挑战。该研究由Chih-Hsuan Yang等十位作者共同完成，他们使用匹配的gpt-oss-120b智能体，对4,181道经过验证者确认的Omni-MATH数学问题进行了系统性测试。

实验结果表明，在难度最低的层级中，协作带来的提升微乎其微，但从第四层级开始，收益显著增加。在更困难的数学问题区域，广播式同伴讨论（广播式）达到了比规划-执行-评审流水线（PER）更高的最终准确率。研究团队进一步探究了这一性能差距背后的原因：究竟是评审者的质量不足，还是批评本身未能有效改变后续的候选答案？

令人惊讶的是，仅凭评审精度无法解释这一差距。数据显示，PER流水线中的评审者精度远高于广播式（0.861对比0.644），但经过独立验证者确认的有用批评，在改变下一候选答案的可能性上却远低于广播式，并且导致更低的评审引导修复率。这些结果明确表明，评审者的检测质量与批评的采纳效果在经验上是可分离的，即高精度并不等同于高采纳。

为了深入理解这一现象，研究者进行了匹配的PER干预实验。他们发现，强制要求智能体明确承认评审意见（例如在生成下一答案前先复述批评）反而降低了最终准确率。而将评审指导直接嵌入求解器的工作上下文（例如在提示中提供修正建议）则部分改善了后续跟进，但并未完全消除与广播式之间的差距。

该研究的结论对当前以评审者为中心的评估体系提出了警示：一个协议可能非常擅长发现错误，但如果它不根据这些批评采取行动，那么它仍然无法解决更多问题。换句话说，高检测精度并不能保证最终系统质量，批评的有效采纳才是关键。这一发现对于设计更高效的多智能体协作系统具有重要意义，尤其是在数学推理等需要精确修正的领域。