精確但脱鈎：評審精度不保證多智能體數學推理中的批評採納

許多面向數學和科學的智能體系統採用層級設計，其中包含專門的評審角色，其核心假設是：一個專門的評審階段能夠幫助將錯誤的候選答案轉化為正確的。然而，一篇發表在arXiv上的新研究對此提出了挑戰。該研究由Chih-Hsuan Yang等十位作者共同完成，他們使用匹配的gpt-oss-120b智能體，對4,181道經過驗證者確認的Omni-MATH數學問題進行了系統性測試。

實驗結果表明，在難度最低的層級中，協作帶來的提升微乎其微，但從第四層級開始，收益顯著增加。在更困難的數學問題區域，廣播式同伴討論（廣播式）達到了比規劃-執行-評審流水線（PER）更高的最終準確率。研究團隊進一步探究了這一性能差距背後的原因：究竟是評審者的質量不足，還是批評本身未能有效改變後續的候選答案？

令人驚訝的是，僅憑評審精度無法解釋這一差距。數據顯示，PER流水線中的評審者精度遠高於廣播式（0.861對比0.644），但經過獨立驗證者確認的有用批評，在改變下一候選答案的可能性上卻遠低於廣播式，並且導致更低的評審引導修復率。這些結果明確表明，評審者的檢測質量與批評的採納效果在經驗上是可分離的，即高精度並不等同於高採納。

為了深入理解這一現象，研究者進行了匹配的PER干預實驗。他們發現，強制要求智能體明確承認評審意見（例如在生成下一答案前先複述批評）反而降低了最終準確率。而將評審指導直接嵌入求解器的工作上下文（例如在提示中提供修正建議）則部分改善了後續跟進，但並未完全消除與廣播式之間的差距。

該研究的結論對當前以評審者為中心的評估體系提出了警示：一個協議可能非常擅長髮現錯誤，但如果它不根據這些批評採取行動，那麼它仍然無法解決更多問題。換句話説，高檢測精度並不能保證最終系統質量，批評的有效採納才是關鍵。這一發現對於設計更高效的多智能體協作系統具有重要意義，尤其是在數學推理等需要精確修正的領域。