精密だが切り離されている：レビューアの精度はマルチエージェント数学推論における批評の取り込みを保証しない

数学や科学に特化した多くのエージェントシステムは、階層的な設計を採用し、専用のレビューア役割を組み込んでいます。その背後にある仮定は、専任のレビュー段階が誤った候補を正しいものに変換するのに役立つというものです。しかし、arXivに投稿された新しい研究は、この仮定に疑問を投げかけています。Chih-Hsuan Yang氏ら10名の著者によるこの研究では、一致させたgpt-oss-120bエージェントを用いて、4,181の検証済みOmni-MATH数学問題を体系的にテストしました。

実験の結果、最も簡単な階層では協力による改善はほとんど見られませんでしたが、第4階層以降からその利益は急激に拡大しました。このより困難な領域では、ブロードキャストスタイルのピアディスカッション（ブロードキャスト方式）が、プランナー・エグゼキューター・レビューアパイプライン（PER）よりも高い最終精度を達成しました。研究チームは、この性能差の原因がレビューアの品質にあるのか、それとも批評が次の候補を変更する能力にあるのかを調査しました。

驚くべきことに、このギャップはレビューアの精度だけでは説明できませんでした。データによれば、PERパイプラインのレビューアの精度はブロードキャスト方式よりもはるかに高い（0.861対0.644）にもかかわらず、独立した検証者によって確認された有用な批評が次の候補を変更する可能性はブロードキャスト方式よりもはるかに低く、レビューア主導の修正率も低いことがわかりました。これらの結果は、レビューアの検出品質と批評の取り込みが経験的に分離可能であること、すなわち高精度が必ずしも高い取り込みを意味しないことを明確に示しています。

この現象をより深く理解するために、研究者らは一致させたPER介入実験を実施しました。その結果、エージェントにレビューコメントの明示的な承認を強制する（例えば、次の回答を生成する前に批評を復唱させる）と、最終精度が低下することがわかりました。一方、レビューアのガイダンスをソルバーの作業コンテキストに直接埋め込む（例えば、プロンプトに修正提案を提供する）と、フォロースルーが部分的に改善されましたが、ブロードキャスト方式とのギャップを完全に埋めるには至りませんでした。

この研究の結論は、現在のレビューア中心の評価体系に警鐘を鳴らしています。プロトコルはエラーをうまく検出できても、その批評に基づいて行動しなければ、より多くの問題を解決することはできません。つまり、高い検出精度は最終的なシステム品質を保証せず、批評の効果的な取り込みが鍵となります。この発見は、特に数学推論のような正確な修正が求められる分野において、より効率的なマルチエージェント協調システムを設計する上で重要な示唆を与えています。