揭秘線上策略蒸餾：何時有益，何時有害，以及原因
儘管線上策略蒸餾為訓練推理模型提供了密集的逐令牌監督，但其在不同條件下的有效性尚不明確。本文引入了一種無需訓練的診斷框架，能夠在令牌級別量化蒸餾訊號與理想梯度的對齊程度。研究發現，蒸餾指導在錯誤滾動輸出上的對齊度顯著高於正確輸出，且最佳蒸餾上下文依賴於學生模型容量和目標任務，不存在通用最優配置。
蘋果機器學習研究團隊近日發表了一篇題為《揭秘線上策略蒸餾：何時有益，何時有害，以及原因》的論文，深入探討了線上策略蒸餾（On-Policy Distillation）在訓練推理模型中的作用機制。該論文於2026年7月釋出，由Mohammadreza Armandpour、Fatih Ilhan、David Harrison等多位研究者共同完成。線上策略蒸餾透過提供密集的逐令牌監督訊號來訓練學生模型，但這種訊號在哪些條件下有益、哪些條件下有害，此前尚不明確。傳統研究往往依賴於昂貴的訓練執行，並透過聚合效能指標來分析，這掩蓋了單個令牌級別的動態。
為了解決這一問題，研究團隊提出了一種無需訓練的診斷框架，能夠在最高解析度——即逐令牌、逐問題和逐教師級別上分析蒸餾過程。他們推導了一種理想逐節點梯度，定義為能夠最大程度增加學生模型成功機率的引數更新。在此基礎上，開發了一種可擴充套件的目標滾動輸出演算法，即使對於長鏈中間思考過程也能高效估計該梯度。梯度對齊分數（即該理想梯度與任何給定蒸餾梯度之間的餘弦相似度）被用來量化特定配置與理想訊號的接近程度。
透過對一系列自我蒸餾設定和外部教師模型的實驗，研究人員觀察到一個關鍵發現：蒸餾指導在錯誤的滾動輸出上表現出與理想梯度顯著更高的對齊度，而在正確的滾動輸出上，由於學生模型已經表現良好，教師的訊號往往變得噪聲較大。此外，研究還發現，最佳的蒸餾上下文取決於學生模型的能力和目標任務，並不存在單一普遍有效的配置。這些發現強調了在蒸餾過程中進行基於任務和基於令牌的診斷分析的必要性，為未來設計更高效的蒸餾策略提供了理論指導。研究者指出，這一框架可廣泛應用於不同規模和架構的模型，幫助 practitioners 在實際部署前快速評估蒸餾配置的優劣，避免昂貴的試錯成本。