大多數人所熟知的知識蒸餾故事始於2015年，當時Geoffrey Hinton、Oriol Vinyals和Jeff Dean提出了一種巧妙的softmax溫度技巧，並用“暗知識”這個短語瞬間抓住了學術界的想象力。這是一個引人入勝的故事，但它並不完整——實際上，這段歷史往前推了將近十年。
真正的歷史更加安靜、更務實，也值得被重新挖掘，因為該領域在2006年至2015年間所做的概念性工作至今仍定義著我們對蒸餾的理解。詞彙變了，圖表變了，但核心問題——教師到底向學生傳遞了什麼？——始終未變。為了理解現代同策略蒸餾、推理蒸餾和跨架構遷移的圖景，回顧三篇奠基性論文會很有幫助，每篇論文都在通往同一概念的路上解決了不同的問題。
2006年：壓縮即模仿。那一年，研究者們開始探索如何將大型模型的知識壓縮到小型模型中，這本質上是一種模仿學習。早期的實驗表明，透過讓小型模型模擬大型模型的輸出分佈，可以在顯著降低計算成本的同時保留大部分效能。這項工作為後續的蒸餾方法奠定了理論基礎。
2015年：暗知識的爆發。Hinton等人正式提出了知識蒸餾框架，利用溫度引數軟化softmax輸出，使小型模型能夠從教師模型的“暗知識”中學習。這一方法不僅在影像分類上取得了成功，還為後續跨模態和跨任務的知識遷移開啟了大門。
此後，蒸餾技術迅速發展，從分類任務擴充套件到生成模型、強化學習等領域。每一步進展都回響著早期工作的核心思想：理解教師知識的結構，並將其有效地傳遞給學生。