大型语言模型（LLM）在推理能力上的突破离不开强化学习（RL）作为后训练工具的应用。然而，在RL流程中，推出（rollout）——即从提示到终止的完整轨迹采样，包括中间推理步骤以及可选的工具或环境交互——的设计往往被低估，却直接决定了优化器学习的数据质量。近日，由Rohan Surana等22位作者联合发表的一篇综合综述，对LLM强化学习中的推出策略进行了系统研究，提出了名为“生成-过滤-控制-重放”（GFCR）的生命周期分类法，为构建高效、可复现的推出管道提供了统一框架。
GFCR将推出流程分解为四个模块化阶段。生成（Generate）阶段负责提出候选轨迹和拓扑结构，可以采用多种采样策略；过滤（Filter）阶段通过验证器、裁判或评论者构建中间信号，以筛选高质量轨迹；控制（Control）阶段在预算约束下决定计算分配、继续、分支或停止，例如自适应计算分配和早期退出；重放（Replay）阶段则在不更新权重的情况下跨推出保留和重用工件，包括能够自主生成新训练任务的自我进化课程。该分类法不依赖于特定优化器，因此适用于多种RL变体，如PPO、GRPO等。
为评估推出管道的性能，综述还提出了一个标准分类法，涵盖可靠性、覆盖率和成本敏感性三个维度。可靠性指生成高质量解决方案的能力，覆盖率强调探索多样候选路径，成本敏感性则关注计算和标注效率。这三者之间存在权衡，例如高覆盖率可能增加过滤成本，而高可靠性可能需要更多的计算资源。论文详细分析了这些权衡，并给出了针对不同场景的推荐配置。
在方法综合方面，论文从可验证奖励RL到过程监督、基于裁判的门控、引导和树/段推出、自适应计算分配、早期退出和部分推出、吞吐量优化，以及用于自我改进的重放/重组等技术进行了全面梳理。这些方法在多个领域得到了验证：在数学推理中，GFCR框架帮助模型生成更严谨的证明步骤；在代码/SQL生成中，通过过滤和重放机制显著提高了代码的准确率和可执行性；在多模态推理中，结合视觉和语言信息的推出策略提升了复杂场景的理解能力；在工具使用代理中，自适应控制阶段使得代理能够高效调用外部API；在智能体技能基准测试中，展示了技能归纳、重用和跨任务迁移的能力。
最后，综述提供了一个诊断索引，将常见推出病理（如采样效率低、忽视探索、计算浪费、信号噪声等）映射到GFCR模块和相应的缓解杠杆。例如，采样效率低可以通过改进生成阶段的先验分布或增加重放阶段的复用率来解决；忽视探索则需要在控制阶段引入探索奖励或调整分支策略。论文还指出了构建可重现、计算高效且值得信赖的推出管道所面临的开放挑战，包括自动化超参数调优、多任务平衡、以及防止奖励黑客等。这项工作为LLM后训练的社区研究和工程实践提供了重要参考，有望推动RL在LLM中的更广泛应用。