大型語言模型（LLM）在推理能力上的突破離不開強化學習（RL）作為後訓練工具的應用。然而，在RL流程中，推出（rollout）——即從提示到終止的完整軌跡採樣，包括中間推理步驟以及可選的工具或環境交互——的設計往往被低估，卻直接決定了優化器學習的數據質量。近日，由Rohan Surana等22位作者聯合發表的一篇綜合綜述，對LLM強化學習中的推出策略進行了系統研究，提出了名為“生成-過濾-控制-重放”（GFCR）的生命週期分類法，為構建高效、可復現的推出管道提供了統一框架。
GFCR將推出流程分解為四個模塊化階段。生成（Generate）階段負責提出候選軌跡和拓撲結構，可以採用多種採樣策略；過濾（Filter）階段通過驗證器、裁判或評論者構建中間信號，以篩選高質量軌跡；控制（Control）階段在預算約束下決定計算分配、繼續、分支或停止，例如自適應計算分配和早期退出；重放（Replay）階段則在不更新權重的情況下跨推出保留和重用工件，包括能夠自主生成新訓練任務的自我進化課程。該分類法不依賴於特定優化器，因此適用於多種RL變體，如PPO、GRPO等。
為評估推出管道的性能，綜述還提出了一個標準分類法，涵蓋可靠性、覆蓋率和成本敏感性三個維度。可靠性指生成高質量解決方案的能力，覆蓋率強調探索多樣候選路徑，成本敏感性則關注計算和標註效率。這三者之間存在權衡，例如高覆蓋率可能增加過濾成本，而高可靠性可能需要更多的計算資源。論文詳細分析了這些權衡，並給出了針對不同場景的推薦配置。
在方法綜合方面，論文從可驗證獎勵RL到過程監督、基於裁判的門控、引導和樹/段推出、自適應計算分配、早期退出和部分推出、吞吐量優化，以及用於自我改進的重放/重組等技術進行了全面梳理。這些方法在多個領域得到了驗證：在數學推理中，GFCR框架幫助模型生成更嚴謹的證明步驟；在代碼/SQL生成中，通過過濾和重放機制顯著提高了代碼的準確率和可執行性；在多模態推理中，結合視覺和語言信息的推出策略提升了複雜場景的理解能力；在工具使用代理中，自適應控制階段使得代理能夠高效調用外部API；在智能體技能基準測試中，展示了技能歸納、重用和跨任務遷移的能力。
最後，綜述提供了一個診斷索引，將常見推出病理（如採樣效率低、忽視探索、計算浪費、信號噪聲等）映射到GFCR模塊和相應的緩解槓桿。例如，採樣效率低可以通過改進生成階段的先驗分佈或增加重放階段的複用率來解決；忽視探索則需要在控制階段引入探索獎勵或調整分支策略。論文還指出了構建可重現、計算高效且值得信賴的推出管道所面臨的開放挑戰，包括自動化超參數調優、多任務平衡、以及防止獎勵黑客等。這項工作為LLM後訓練的社區研究和工程實踐提供了重要參考，有望推動RL在LLM中的更廣泛應用。