隨着深度學習模型規模的急劇膨脹，單個模型的存儲需求甚至超過了眾多大規模數據集。這一趨勢促使研究者重新思考模型部署時的資源效率。來自東京大學等機構的研究團隊提出了一種全新範式——持續蒸餾（Continual Distillation, CD），旨在讓一個輕量級學生模型通過順序學習多個教師模型的知識，逐步積累跨領域能力，而無需保留原始的教師模型或其訓練數據。
在持續蒸餾的設定下，學生模型面臨兩個核心挑戰：一是教師模型的訓練數據通常不可獲取，二是不同教師可能擅長完全不同的領域。為了解決這些問題，研究團隊首先理論分析了外部無標籤數據的作用，證明其能夠實現“未見知識遷移”（Unseen Knowledge Transfer, UKT），即學生可以從教師那裏獲取自身訓練數據中未曾涉及的領域知識。然而，後續的實驗觀察揭示了一個負面效應：隨着新的教師模型加入，學生先前習得的遷移知識會逐漸被遺忘，這一現象被命名為“未見知識遺忘”（Unseen Knowledge Forgetting, UKF）。
為了在UKT和UKF之間取得更好的平衡，研究者設計了“自外部數據蒸餾”（Self External Data Distillation, SE2D）方法。其核心思想是在外部無標籤數據上保存教師模型的logits（模型輸出前的激活值），並利用這些logits作為穩定信號，指導學生在學習新教師時避免覆蓋舊知識。這種方法不依賴於任何教師訓練數據，僅需少量外部無標籤數據即可實現。
在多個公開基準上的實驗結果表明，SE2D顯著降低了UKF，同時保持了甚至提升了跨領域的泛化能力。相比基線方法，SE2D在圖像分類、語義分割等任務上均取得了更優的性能。這一工作已被CVPR 2026接收，相關代碼和實現已在GitHub上開源（https://github.com/Nicolas1203/continual_distillation）。
該研究為模型壓縮和持續學習領域開闢了新方向，尤其適用於需要在資源受限設備上持續更新知識的場景，如自動駕駛、機器人學習和個性化推薦系統。未來工作可進一步探索如何自動選擇外部數據以及如何擴展到更多異構教師模型。