來自Yumeng Zhang等人的最新研究提出了一個名為“分佈校正離線資料蒸餾”的框架，旨在解決大型語言模型（LLM）知識蒸餾中的關鍵挑戰。該研究已被提交至arXiv（編號2605.14071），並於2026年5月13日釋出。
背景與問題 將強大的大型語言模型（如GPT-4）的推理能力蒸餾到較小的模型中，對於資源受限場景具有重要意義。然而，現有方法面臨根本性權衡：離線蒸餾使用教師模型生成的推理軌跡進行訓練，雖然效率高且質量好，但學生模型在訓練時使用教師字首，而在推理時使用自身生成的字首，導致分佈漂移和錯誤累積。另一方面，線上策略蒸餾雖能匹配推理分佈，但需要昂貴的線上取樣，且早期訓練生成低質量軌跡。
方法創新 該研究提出的框架完全基於離線資料，但透過自適應加權教師監督訊號來糾正分佈漂移。具體而言，它動態強調那些與學生線上模型當前分佈更一致的教師示例，從而在不犧牲資料效率的前提下彌合訓練與推理間隙。該方法無需任何線上互動，僅透過精心設計的權重分配最佳化離線訓練。
實驗結果 在數學推理基準GSM8K、MATH、MATH500以及更具挑戰性的競賽級任務（如AMC、AIME、OlympiadBench）上，該框架相比先前離線蒸餾演算法取得了更高的推理準確率，並生成了更穩定的推理軌跡。此外，模型仍保持了良好的指令遵循能力。研究表明，輕量級的分佈校正訓練能顯著強化離線推理蒸餾，無需線上生成。
意義與影響 這項工作的意義在於，它為離線蒸餾提供了一種實用且經濟的改進方案，特別適合無法負擔線上取樣成本的部署場景。透過糾正分佈漂移，該方法在不增加額外成本的情況下提升了蒸餾效果，有望推動小型模型在數學推理等複雜任務中的應用。