大型语言模型在后期训练中常使用稀疏的验证器奖励，这种奖励仅能指示采样轨迹是否成功，却无法对推理过程中的成功或失败位置提供具体指导。在线策略蒸馏（On-policy Distillation, OPD）通过训练学生模型自身生成的轨迹来提供更密集的令牌级监督，但现有方法通常独立处理每个轨迹，忽略了同一提示下其他尝试中蕴含的丰富信息。
为了克服这一局限，研究团队提出了多轮次在线策略蒸馏（Multi-Rollout On-Policy Distillation, MOPD），这是一种基于同伴条件的蒸馏框架。MOPD的核心创新在于，它利用学生模型在同一提示下生成的多个轨迹（包括成功和失败的尝试）来构建信息更为丰富的教师信号。具体来说，成功的同伴轨迹为正面的推理模式提供证据，而失败的同伴轨迹则提供结构化的负面证据，帮助模型学会避免常见的错误模式。
研究探索了两种同伴上下文构建方式：正面同伴模仿（positive peer imitation）和对比成功-失败条件（contrastive success-failure conditioning）。在竞争编程、数学推理、科学问答和工具使用等多个基准测试上，MOPD均表现出优于标准在线策略基线的性能。进一步的教师信号分析显示，混合成功-失败上下文能更好地使教师评分与验证器奖励对齐，这表明性能提升源于更忠实、实例自适应的监督信号。这些结果证明，有效的在线策略蒸馏应充分利用学生的多轮次试错行为，而非将各轨迹视为孤立样本。
该工作由Weichen Yu等人完成，论文共23页，涵盖机器学习与人工智能领域的研究。实验覆盖了多个具有挑战性的推理任务，充分验证了MOPD框架的通用性和有效性。