來自Yumeng Zhang等人的最新研究提出了一個名為“分佈校正離線數據蒸餾”的框架，旨在解決大型語言模型（LLM）知識蒸餾中的關鍵挑戰。該研究已被提交至arXiv（編號2605.14071），並於2026年5月13日發佈。
背景與問題 將強大的大型語言模型（如GPT-4）的推理能力蒸餾到較小的模型中，對於資源受限場景具有重要意義。然而，現有方法面臨根本性權衡：離線蒸餾使用教師模型生成的推理軌跡進行訓練，雖然效率高且質量好，但學生模型在訓練時使用教師前綴，而在推理時使用自身生成的前綴，導致分佈漂移和錯誤累積。另一方面，在線策略蒸餾雖能匹配推理分佈，但需要昂貴的在線採樣，且早期訓練生成低質量軌跡。
方法創新 該研究提出的框架完全基於離線數據，但通過自適應加權教師監督信號來糾正分佈漂移。具體而言，它動態強調那些與學生在線模型當前分佈更一致的教師示例，從而在不犧牲數據效率的前提下彌合訓練與推理間隙。該方法無需任何在線交互，僅通過精心設計的權重分配優化離線訓練。
實驗結果 在數學推理基準GSM8K、MATH、MATH500以及更具挑戰性的競賽級任務（如AMC、AIME、OlympiadBench）上，該框架相比先前離線蒸餾算法取得了更高的推理準確率，並生成了更穩定的推理軌跡。此外，模型仍保持了良好的指令遵循能力。研究表明，輕量級的分佈校正訓練能顯著強化離線推理蒸餾，無需在線生成。
意義與影響 這項工作的意義在於，它為離線蒸餾提供了一種實用且經濟的改進方案，特別適合無法負擔在線採樣成本的部署場景。通過糾正分佈漂移，該方法在不增加額外成本的情況下提升了蒸餾效果，有望推動小型模型在數學推理等複雜任務中的應用。