近年、言語モデルの推論能力を訓練する手法として、GRPO（Group Relative Policy Optimization）、Dr. GRPO（GRPO Done Right）、およびDAPO（Decoupled Clip and Dynamic Sampling Policy Optimization）が注目されています。これらの手法はそれぞれ異なる工夫のように見えますが、arXivに投稿された新しい論文（arXiv:2607.00152）は、それらが実際には1つの共通の数値を調整していることを示しました。その数値とは、同じ問題に対するモデルの複数回答の正誤の標準偏差です。
モデルが各問題に複数回回答すると、自動チェッカーが各回答の正誤を判定します。これらの正誤マークの標準偏差は、回答の不一致度を測定します。正解と不正解が半々の場合に最大となり、全回答が一致する場合にゼロとなります。論文では「グループ標準偏差恒等式」が証明され、二値報酬（正解/不正解）において、訓練更新の大きさがこの不一致度と正確に等しいことが示されました。すなわち、分割されたグループ（意見が分かれる問題）が最も学習に寄与し、全会一致のグループは学習効果を持たず、実質的に沈黙します。
この恒等式は、どの問題にどの程度の重みを割り当てるべきか、各問題に何回の試行が必要かを決定するための理論的基盤を提供します。著者のYong Yi Bay氏とKathleen A. Yearick氏は、この理論を大規模な実難易度データセット「Big-Math」と制御された訓練実験で確認しました。一見無害な正規化ステップのように見えるものが、実際には学習がどこでどの程度行われるかを決定する重要なダイヤルであることが明らかになりました。この研究は、言語モデルの推論訓練手法の統一的な理解を促進し、今後の最適化に役立つと期待されます。