在大型語言模型的後訓練中，強化學習（RL）已成為提升推理能力的關鍵技術。然而，隨著模型規模的增長，一個被稱為“rollout”的階段正逐漸成為主要的效能瓶頸。Rollout 階段要求模型為批次中的每個提示生成完整的響應序列，而最慢的生成決定了整個步驟的耗時。這導致了一個典型的“長尾”問題：大多數序列很快完成，但少數異常長的序列（稱為 straggler）迫使整個批次等待，使得大量 GPU 計算資源處於空閒狀態。據統計，rollout 階段消耗了總訓練時間的高達70%，超過了反向傳播和引數更新的總和。
為了解決這一瓶頸，研究人員提出了分佈感知推測解碼（DAS）框架。DAS 透過兩個核心元件實現了顯著加速：自適應字尾樹草稿模型和長度感知排程策略。自適應字尾樹草稿模型基於最近的 rollout 軌跡構建字尾樹，並透過匹配當前上下文與歷史記錄來生成推測草稿。由於無需梯度更新，該草稿模型能夠隨著策略的演化自我調整，始終保持與最新策略的同步。長度感知排程則包括跨 GPU 負載均衡（防止長序列集中在單個工作節點）和 GPU 內預算分配（根據歷史統計動態劃分長、中、短請求，並分配不同的推測預算）。
實驗結果表明，DAS 在數學推理任務上（使用 DeepSeek-R1-Distill-Qwen-7B 模型）實現了超過 50% 的 rollout 時間減少，且獎勵曲線與基線完全一致，說明訓練訊號未受任何影響。在程式碼生成任務上（使用 Qwen3-8B 模型），DAS 實現了約 25% 的加速，同時保持了獎勵質量。此外，DAS 的優勢在不同序列長度（8k–16k）和批次大小（16–32）下均能保持，證明了其魯棒性。
DAS 具有三個顯著特點：一是無損加速，其輸出與標準解碼完全相同，訓練曲線無差異；二是魯棒性強，適用於多種配置；三是零成本適應，草稿模型自動從 rollout 歷史中演化，無需梯度更新或人工維護。隨著強化學習後訓練在越來越大的模型上應用，rollout 瓶頸將愈發突出。DAS 為實際部署提供了一條有前景的路徑，可將計算成本降低高達 50%，同時不犧牲模型質量。