回顧2015年的蒸餾論文，引人注目的並非温度技巧或暗知識框架，而是論文默默假設的世界。那裏存在固定的輸入分佈，一個教師模型在封閉類別集上產生概率向量，學生模型被訓練去匹配該向量。運行數據集通過兩者，計算損失，反向傳播。整個管道帶有一種機械式的純真——一切都各司其職。
然而，大語言模型的出現逐一打破了這些假設。本篇探討蒸餾的演化歷程，領域不再僅僅是壓縮——製作固定功能的較小副本——而是開始思考能力轉移：藉助較大模型，讓小模型真正完成困難任務。這一轉變歷時約五年，經歷了三個可辨階段，每個階段在當時看似微小的工程改進，事後卻證明挪動了概念傢俱。
第一階段：序列並非圖像。這一階段認識到語言模型的序列特性與傳統圖像分類的差異，蒸餾需要適應序列生成的任務。第二階段：從輸出分佈到行為模仿。教師不僅提供概率分佈，還提供生成過程和行為模式，學生從模仿輸出轉向模仿推理步驟。第三階段：自主與對話。學生不再被動接收知識，而是能夠主動提問、反駁，甚至生成訓練數據回饋教師，形成雙向互動。
這一演變揭示了蒸餾技術的核心轉變：從靜態複製到動態學習，從單一教師到多源協作，從封閉類別到開放世界。它為大語言模型的輕量化部署提供了關鍵路徑，也提出了新的挑戰——如何確保學生模型在能力轉移中保持忠實與魯棒。