近年來，強化學習（RL）在顯式思維鏈（Chain-of-Thought, CoT）推理器中取得了顯著成功，透過可驗證獎勵的RL方法實現了測試時計算擴充套件。然而，這種擴充套件路徑存在一個根本性瓶頸：每個中間推理步驟都必須解碼為語言令牌，導致計算成本隨著推理深度線性增長。相比之下，潛在推理（Latent Reasoning）提供了一種更高效的替代方案。它透過連續向量表示中間計算過程，能夠在遠少於顯式CoT的推理步驟下達到甚至超越後者的效能。儘管潛力巨大，潛在推理器目前仍主要依賴模仿學習（imitation learning），而顯式CoT已經透過結果獎勵RL超越了模仿階段。潛在軌跡缺乏可追蹤的每步似然性，並且在固定思考預算下缺乏自適應停止介面，因此直接使用結果獎勵無法激發潛在推理的測試時擴充套件能力。
針對這一挑戰，Runyang You等研究者提出了替代潛在策略最佳化（Surrogate Latent Policy Optimization, SLPO）。SLPO的核心思想是將結果獎勵RL引入自迴歸潛在推理器。具體而言，它透過一個經驗性的替代策略密度（surrogate policy density）對潛在轉換進行軌跡級的信用分配，解決了潛在軌跡缺乏可解似然性的問題。同時，SLPO引入了一個由正確性監督的停止頭（stopping head），該停止頭透過結果獎勵最佳化被訓練成一個可變視界策略，使模型能夠根據問題難度自適應地決定停止時機。
實驗部分，研究者在連續思考（continuous thinking）和軟思考（soft thinking）兩種設定下評估了SLPO。結果表明，SLPO在並行取樣條件下顯著提升了Pass@k指標。更重要的是，模型能夠為更困難的例項分配更長的潛在計算序列，從而在保持計算效率的同時實現更高的確定性準確率。這一特性表明，SLPO不僅提升了效能，還賦予了潛在推理器類似顯式CoT的測試時擴充套件能力。
這項工作的意義在於，它為潛在推理的RL訓練提供了首個有效框架，有望在保持推理效率的同時，進一步釋放潛在推理的潛力。未來，該技術可應用於需要複雜推理的AI系統，例如數學證明、科學發現和多步規劃等領域。隨著潛在推理器的逐步成熟，我們可能會看到AI系統在推理成本與效能之間取得更好的平衡。