随着深度学习模型规模的急剧膨胀，单个模型的存储需求甚至超过了众多大规模数据集。这一趋势促使研究者重新思考模型部署时的资源效率。来自东京大学等机构的研究团队提出了一种全新范式——持续蒸馏（Continual Distillation, CD），旨在让一个轻量级学生模型通过顺序学习多个教师模型的知识，逐步积累跨领域能力，而无需保留原始的教师模型或其训练数据。
在持续蒸馏的设定下，学生模型面临两个核心挑战：一是教师模型的训练数据通常不可获取，二是不同教师可能擅长完全不同的领域。为了解决这些问题，研究团队首先理论分析了外部无标签数据的作用，证明其能够实现“未见知识迁移”（Unseen Knowledge Transfer, UKT），即学生可以从教师那里获取自身训练数据中未曾涉及的领域知识。然而，后续的实验观察揭示了一个负面效应：随着新的教师模型加入，学生先前习得的迁移知识会逐渐被遗忘，这一现象被命名为“未见知识遗忘”（Unseen Knowledge Forgetting, UKF）。
为了在UKT和UKF之间取得更好的平衡，研究者设计了“自外部数据蒸馏”（Self External Data Distillation, SE2D）方法。其核心思想是在外部无标签数据上保存教师模型的logits（模型输出前的激活值），并利用这些logits作为稳定信号，指导学生在学习新教师时避免覆盖旧知识。这种方法不依赖于任何教师训练数据，仅需少量外部无标签数据即可实现。
在多个公开基准上的实验结果表明，SE2D显著降低了UKF，同时保持了甚至提升了跨领域的泛化能力。相比基线方法，SE2D在图像分类、语义分割等任务上均取得了更优的性能。这一工作已被CVPR 2026接收，相关代码和实现已在GitHub上开源（https://github.com/Nicolas1203/continual_distillation）。
该研究为模型压缩和持续学习领域开辟了新方向，尤其适用于需要在资源受限设备上持续更新知识的场景，如自动驾驶、机器人学习和个性化推荐系统。未来工作可进一步探索如何自动选择外部数据以及如何扩展到更多异构教师模型。