arXiv 于 2026 年 10 月 20 日发布了一篇题为《ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning》的新论文（arXiv:2610.28770v1，cs.LG，交叉归类 cs.AI 与 stat.ML），作者为 Nghi Dao 等四人，提交人为 Adam B. Block，全文约 251 KB，提供 PDF、实验性 HTML 与 TeX 源码。
论文要解决的问题是：RLVR（可验证奖励强化学习）能显著提升语言模型的推理能力，但这类方法通常依赖彼此独立、随机采样的 rollout 来进行探索。这种独立采样的问题在于，模型可能反复抽到相似的失败策略，浪费大量生成预算，却无法真正接触到新的解题路径。已有的工作尝试通过把先前错误解答放进上下文、让后续尝试依赖前一次失败来引导探索，并在实验中取得了成效，但随之而来的是一个新问题：如何把最终的成功或失败合理地归因到每一次尝试上，即信用分配问题。
作者提出用随机最短路（Stochastic Shortest Paths）的视角来审视信用分配。这是经典强化学习中的一个框架，其目标是最小化到达终止状态（在本例中即一个经过验证的成功回答）的期望累积成本。作者指出，在适当的简化假设下，该视角自然导出对 GRPO 的一项简单修改，他们将其命名为 Retry-Aware Policy Optimization（ReAPO）。具体而言，ReAPO 为失败的轨迹分配额外的生成机会，使得成功的重试能够被强化，而不会因此奖励此前那些失败的尝试；同时，它以一种在理论上更有依据的方式为每一次尝试分配信用。
实验结果覆盖 Qwen3 与 OLMo-2 两个模型家族、参数量从 0.6B 到 4B，以及八个数学与科学推理基准。与 GRPO 以及近期一些自然的基线算法相比，ReAPO 提升了首次尝试（first-attempt）的表现。消融实验进一步显示，串行采样机制与 ReAPO 的信用分配方案各自都有实际贡献。在 Qwen3-0.6B 上，ReAPO 甚至优于使用两倍组大小（group size）或两倍训练步数的 GRPO：与前者相比，它达到相同峰值准确率时少生成 39% 的 token；与后者相比少生成 31%。
作者总结认为，ReAPO 是一种简单而有效的思路，通过改进探索与重试感知的信用分配来提升语言模型的推理表现。需要注意的是，这些结论建立在论文所设定的简化假设之上，评测范围限于上述模型规模与八个数学/科学基准，因此向更大规模模型或其他任务类型的泛化性仍需进一步验证。该论文的 DOI 由 DataCite 发放，注册尚在办理中。