arXiv 於 2026 年 10 月 20 日釋出了一篇題為《ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning》的新論文（arXiv:2610.28770v1，cs.LG，交叉歸類 cs.AI 與 stat.ML），作者為 Nghi Dao 等四人，提交人為 Adam B. Block，全文約 251 KB，提供 PDF、實驗性 HTML 與 TeX 原始碼。
論文要解決的問題是：RLVR（可驗證獎勵強化學習）能顯著提升語言模型的推理能力，但這類方法通常依賴彼此獨立、隨機取樣的 rollout 來進行探索。這種獨立取樣的問題在於，模型可能反覆抽到相似的失敗策略，浪費大量生成預算，卻無法真正接觸到新的解題路徑。已有的工作嘗試透過把先前錯誤解答放進上下文、讓後續嘗試依賴前一次失敗來引導探索，並在實驗中取得了成效，但隨之而來的是一個新問題：如何把最終的成功或失敗合理地歸因到每一次嘗試上，即信用分配問題。
作者提出用隨機最短路（Stochastic Shortest Paths）的視角來審視信用分配。這是經典強化學習中的一個框架，其目標是最小化到達終止狀態（在本例中即一個經過驗證的成功回答）的期望累積成本。作者指出，在適當的簡化假設下，該視角自然匯出對 GRPO 的一項簡單修改，他們將其命名為 Retry-Aware Policy Optimization（ReAPO）。具體而言，ReAPO 為失敗的軌跡分配額外的生成機會，使得成功的重試能夠被強化，而不會因此獎勵此前那些失敗的嘗試；同時，它以一種在理論上更有依據的方式為每一次嘗試分配信用。
實驗結果覆蓋 Qwen3 與 OLMo-2 兩個模型家族、引數量從 0.6B 到 4B，以及八個數學與科學推理基準。與 GRPO 以及近期一些自然的基線演算法相比，ReAPO 提升了首次嘗試（first-attempt）的表現。消融實驗進一步顯示，序列取樣機制與 ReAPO 的信用分配方案各自都有實際貢獻。在 Qwen3-0.6B 上，ReAPO 甚至優於使用兩倍組大小（group size）或兩倍訓練步數的 GRPO：與前者相比，它達到相同峰值準確率時少生成 39% 的 token；與後者相比少生成 31%。
作者總結認為，ReAPO 是一種簡單而有效的思路，透過改進探索與重試感知的信用分配來提升語言模型的推理表現。需要注意的是，這些結論建立在論文所設定的簡化假設之上，評測範圍限於上述模型規模與八個數學/科學基準，因此向更大規模模型或其他任務型別的泛化性仍需進一步驗證。該論文的 DOI 由 DataCite 發放，註冊尚在辦理中。