強化學習在多步推理任務中面臨一個關鍵挑戰：稀疏的終端獎勵難以有效分配到中間決策步驟，導致梯度方差高、訓練不穩定，甚至模型失效。例如，在大語言模型（LLM）的數學或程式碼生成任務中，模型需要經過多個推理步驟才能得到最終答案，但只有最終答案正確時才會獲得正獎勵，中間步驟無論正確與否都無法得到直接反饋。這種設定使得每個步驟的貢獻被均勻地分攤，從而產生高方差的梯度，使訓練過程動盪不安，甚至完全無法收斂。
為了應對這一問題，研究團隊提出了一種基於反事實對比的信用分配框架。該框架的核心思想是：在同一輸入下，取樣多條推理軌跡，這些軌跡可能因為中間不同的決策而導致不同的最終結果。透過比較這些軌跡之間的差異，可以隱式地模擬出“如果當時選擇了另一條路徑會怎樣”的反事實場景。具體而言，研究團隊設計了一種隱式過程級優勢估計器，它利用軌跡間的差異訊號來估算每個步驟相對於其他可能選擇的優勢值。這樣，原本集中在終端的稀疏獎勵就被分解為每個步驟的細粒度學習訊號，從而極大改善了信用分配的條件。
在此基礎上，團隊進一步提出了隱式行為策略最佳化（IBPO）演算法。IBPO將上述優勢估計器直接整合到策略梯度更新中，無需依賴額外的獎勵模型或價值網路。實驗在多個標準基準上展開：在數學推理方面，使用了GSM8K和MATH資料集；在程式碼生成方面，使用了HumanEval和MBPP資料集。結果表明，與基線方法（如PPO、REINFORCE等）相比，IBPO在訓練穩定性（以梯度的方差和獎勵的收斂曲線衡量）和最終效能（即準確率或透過率）上均取得了顯著提升。特別是，在MATH資料集上，IBPO的效能上限比之前的最佳方法提高了約5個百分點，而在HumanEval上則達到了接近80%的透過率。
該工作的意義在於，它為LLM在多步推理中的強化學習訓練提供了一種實用且高效的解決方案。透過將稀疏獎勵轉化為步驟敏感的訊號，IBPO使得模型能夠更準確地從成功或失敗的經驗中學習，從而解鎖LLM在複雜推理任務中的更大潛力。未來，該方法有望被推廣到更多需要長鏈推理的應用場景，如科學問題求解、自動定理證明等。