大型語言模型在後期訓練中常使用稀疏的驗證器獎勵，這種獎勵僅能指示採樣軌跡是否成功，卻無法對推理過程中的成功或失敗位置提供具體指導。在線策略蒸餾（On-policy Distillation, OPD）通過訓練學生模型自身生成的軌跡來提供更密集的令牌級監督，但現有方法通常獨立處理每個軌跡，忽略了同一提示下其他嘗試中藴含的豐富信息。
為了克服這一侷限，研究團隊提出了多輪次在線策略蒸餾（Multi-Rollout On-Policy Distillation, MOPD），這是一種基於同伴條件的蒸餾框架。MOPD的核心創新在於，它利用學生模型在同一提示下生成的多個軌跡（包括成功和失敗的嘗試）來構建信息更為豐富的教師信號。具體來説，成功的同伴軌跡為正面的推理模式提供證據，而失敗的同伴軌跡則提供結構化的負面證據，幫助模型學會避免常見的錯誤模式。
研究探索了兩種同伴上下文構建方式：正面同伴模仿（positive peer imitation）和對比成功-失敗條件（contrastive success-failure conditioning）。在競爭編程、數學推理、科學問答和工具使用等多個基準測試上，MOPD均表現出優於標準在線策略基線的性能。進一步的教師信號分析顯示，混合成功-失敗上下文能更好地使教師評分與驗證器獎勵對齊，這表明性能提升源於更忠實、實例自適應的監督信號。這些結果證明，有效的在線策略蒸餾應充分利用學生的多輪次試錯行為，而非將各軌跡視為孤立樣本。
該工作由Weichen Yu等人完成，論文共23頁，涵蓋機器學習與人工智能領域的研究。實驗覆蓋了多個具有挑戰性的推理任務，充分驗證了MOPD框架的通用性和有效性。