近年来，强化学习（RL）在显式思维链（Chain-of-Thought, CoT）推理器中取得了显著成功，通过可验证奖励的RL方法实现了测试时计算扩展。然而，这种扩展路径存在一个根本性瓶颈：每个中间推理步骤都必须解码为语言令牌，导致计算成本随着推理深度线性增长。相比之下，潜在推理（Latent Reasoning）提供了一种更高效的替代方案。它通过连续向量表示中间计算过程，能够在远少于显式CoT的推理步骤下达到甚至超越后者的性能。尽管潜力巨大，潜在推理器目前仍主要依赖模仿学习（imitation learning），而显式CoT已经通过结果奖励RL超越了模仿阶段。潜在轨迹缺乏可追踪的每步似然性，并且在固定思考预算下缺乏自适应停止接口，因此直接使用结果奖励无法激发潜在推理的测试时扩展能力。
针对这一挑战，Runyang You等研究者提出了替代潜在策略优化（Surrogate Latent Policy Optimization, SLPO）。SLPO的核心思想是将结果奖励RL引入自回归潜在推理器。具体而言，它通过一个经验性的替代策略密度（surrogate policy density）对潜在转换进行轨迹级的信用分配，解决了潜在轨迹缺乏可解似然性的问题。同时，SLPO引入了一个由正确性监督的停止头（stopping head），该停止头通过结果奖励优化被训练成一个可变视界策略，使模型能够根据问题难度自适应地决定停止时机。
实验部分，研究者在连续思考（continuous thinking）和软思考（soft thinking）两种设置下评估了SLPO。结果表明，SLPO在并行采样条件下显著提升了Pass@k指标。更重要的是，模型能够为更困难的实例分配更长的潜在计算序列，从而在保持计算效率的同时实现更高的确定性准确率。这一特性表明，SLPO不仅提升了性能，还赋予了潜在推理器类似显式CoT的测试时扩展能力。
这项工作的意义在于，它为潜在推理的RL训练提供了首个有效框架，有望在保持推理效率的同时，进一步释放潜在推理的潜力。未来，该技术可应用于需要复杂推理的AI系统，例如数学证明、科学发现和多步规划等领域。随着潜在推理器的逐步成熟，我们可能会看到AI系统在推理成本与性能之间取得更好的平衡。