序列知识 #894：当学生开始回嘴——大语言模型时代的蒸馏技术

回顾2015年的蒸馏论文，引人注目的并非温度技巧或暗知识框架，而是论文默默假设的世界。那里存在固定的输入分布，一个教师模型在封闭类别集上产生概率向量，学生模型被训练去匹配该向量。运行数据集通过两者，计算损失，反向传播。整个管道带有一种机械式的纯真——一切都各司其职。

然而，大语言模型的出现逐一打破了这些假设。本篇探讨蒸馏的演化历程，领域不再仅仅是压缩——制作固定功能的较小副本——而是开始思考能力转移：借助较大模型，让小模型真正完成困难任务。这一转变历时约五年，经历了三个可辨阶段，每个阶段在当时看似微小的工程改进，事后却证明挪动了概念家具。

第一阶段：序列并非图像。这一阶段认识到语言模型的序列特性与传统图像分类的差异，蒸馏需要适应序列生成的任务。第二阶段：从输出分布到行为模仿。教师不仅提供概率分布，还提供生成过程和行为模式，学生从模仿输出转向模仿推理步骤。第三阶段：自主与对话。学生不再被动接收知识，而是能够主动提问、反驳，甚至生成训练数据回馈教师，形成双向互动。

这一演变揭示了蒸馏技术的核心转变：从静态复制到动态学习，从单一教师到多源协作，从封闭类别到开放世界。它为大语言模型的轻量化部署提供了关键路径，也提出了新的挑战——如何确保学生模型在能力转移中保持忠实与鲁棒。