大型語言模型在後期訓練中常使用稀疏的驗證器獎勵，這種獎勵僅能指示取樣軌跡是否成功，卻無法對推理過程中的成功或失敗位置提供具體指導。線上策略蒸餾（On-policy Distillation, OPD）透過訓練學生模型自身生成的軌跡來提供更密集的令牌級監督，但現有方法通常獨立處理每個軌跡，忽略了同一提示下其他嘗試中蘊含的豐富資訊。
為了克服這一侷限，研究團隊提出了多輪次線上策略蒸餾（Multi-Rollout On-Policy Distillation, MOPD），這是一種基於同伴條件的蒸餾框架。MOPD的核心創新在於，它利用學生模型在同一提示下生成的多個軌跡（包括成功和失敗的嘗試）來構建資訊更為豐富的教師訊號。具體來說，成功的同伴軌跡為正面的推理模式提供證據，而失敗的同伴軌跡則提供結構化的負面證據，幫助模型學會避免常見的錯誤模式。
研究探索了兩種同伴上下文構建方式：正面同伴模仿（positive peer imitation）和對比成功-失敗條件（contrastive success-failure conditioning）。在競爭程式設計、數學推理、科學問答和工具使用等多個基準測試上，MOPD均表現出優於標準線上策略基線的效能。進一步的教師訊號分析顯示，混合成功-失敗上下文能更好地使教師評分與驗證器獎勵對齊，這表明效能提升源於更忠實、例項自適應的監督訊號。這些結果證明，有效的線上策略蒸餾應充分利用學生的多輪次試錯行為，而非將各軌跡視為孤立樣本。
該工作由Weichen Yu等人完成，論文共23頁，涵蓋機器學習與人工智慧領域的研究。實驗覆蓋了多個具有挑戰性的推理任務，充分驗證了MOPD框架的通用性和有效性。