検証可能な報酬を用いた強化学習（RLVR）は言語モデルの推論能力を高める手法として広く用いられているが、探索のためには独立した確率的ロールアウトに依存しており、似たような失敗戦略を繰り返しサンプリングしてしまう問題がある。先行研究では、誤った解答を文脈に含めて次の試行を行わせることでサンプリング過程に依存関係を導入し、探索を誘導する手法が一定の成果を上げてきた。ただしこうした手法には、各試行にどのようにクレジットを割り当てるかという新たな課題が付随する。
本研究は、このクレジット割り当ての問題を確率的短経路（Stochastic Shortest Paths）の枠組みで捉えることを提案する。これは古典的強化学習の枠組みであり、終端状態に到達するまでの期待累積コストを最小化することを目指す。本論文の場合、終端状態とは検証済みの成功応答が得られた状態に相当する。著者らは、適切な単純化仮定の下では、この視点からGRPOへの単純な修正が自然に導かれることを示し、それを再試行認識型方策最適化（ReAPO）と呼ぶ。
ReAPOの特徴は、失敗した軌跡に対して追加の生成を割り当てる点にある。これにより、成功した再試行を強化しつつ、それに先行する失敗を報酬として扱わないようにできる。さらに各試行へのクレジットを理論的に筋の通った方法で割り当てる。著者らはQwen3およびOLMo-2の0.6Bから4Bまでのモデルと、8つの数学・科学推論ベンチマークを用いて評価を行った。その結果、ReAPOは初回試行の性能においてGRPOや最近の自然なベースラインアルゴリズムを上回った。加えてアブレーション実験により、逐次サンプリングとReAPOのクレジット割り当ての双方が有用であることが示されている。
効率性の面でも顕著な結果が得られている。Qwen3-0.6Bにおいて、ReAPOはグループサイズを2倍にしたGRPOや学習ステップを2倍にしたGRPOをも上回り、それぞれ39%および31%少ない生成トークン数でそれらのピーク精度に到達した。著者らはこれらの結果を踏まえ、ReAPOが探索の改善と再試行を考慮したクレジット割り当てを通じて言語モデルの推論性能を高める、単純かつ効果的な手法であると結論づけている。本論文はcs.LGを主分野とし、cs.AIおよびstat.MLにも関連する。