知识蒸馏简史

大多数人所熟知的知识蒸馏故事始于2015年，当时Geoffrey Hinton、Oriol Vinyals和Jeff Dean提出了一种巧妙的softmax温度技巧，并用“暗知识”这个短语瞬间抓住了学术界的想象力。这是一个引人入胜的故事，但它并不完整——实际上，这段历史往前推了将近十年。

真正的历史更加安静、更务实，也值得被重新挖掘，因为该领域在2006年至2015年间所做的概念性工作至今仍定义着我们对蒸馏的理解。词汇变了，图表变了，但核心问题——教师到底向学生传递了什么？——始终未变。为了理解现代同策略蒸馏、推理蒸馏和跨架构迁移的图景，回顾三篇奠基性论文会很有帮助，每篇论文都在通往同一概念的路上解决了不同的问题。

2006年：压缩即模仿。那一年，研究者们开始探索如何将大型模型的知识压缩到小型模型中，这本质上是一种模仿学习。早期的实验表明，通过让小型模型模拟大型模型的输出分布，可以在显著降低计算成本的同时保留大部分性能。这项工作为后续的蒸馏方法奠定了理论基础。

2015年：暗知识的爆发。Hinton等人正式提出了知识蒸馏框架，利用温度参数软化softmax输出，使小型模型能够从教师模型的“暗知识”中学习。这一方法不仅在图像分类上取得了成功，还为后续跨模态和跨任务的知识迁移打开了大门。

此后，蒸馏技术迅速发展，从分类任务扩展到生成模型、强化学习等领域。每一步进展都回响着早期工作的核心思想：理解教师知识的结构，并将其有效地传递给学生。