隨著深度學習模型規模的急劇膨脹，單個模型的儲存需求甚至超過了眾多大規模資料集。這一趨勢促使研究者重新思考模型部署時的資源效率。來自東京大學等機構的研究團隊提出了一種全新正規化——持續蒸餾（Continual Distillation, CD），旨在讓一個輕量級學生模型透過順序學習多個教師模型的知識，逐步積累跨領域能力，而無需保留原始的教師模型或其訓練資料。
在持續蒸餾的設定下，學生模型面臨兩個核心挑戰：一是教師模型的訓練資料通常不可獲取，二是不同教師可能擅長完全不同的領域。為了解決這些問題，研究團隊首先理論分析了外部無標籤資料的作用，證明其能夠實現“未見知識遷移”（Unseen Knowledge Transfer, UKT），即學生可以從教師那裡獲取自身訓練資料中未曾涉及的領域知識。然而，後續的實驗觀察揭示了一個負面效應：隨著新的教師模型加入，學生先前習得的遷移知識會逐漸被遺忘，這一現象被命名為“未見知識遺忘”（Unseen Knowledge Forgetting, UKF）。
為了在UKT和UKF之間取得更好的平衡，研究者設計了“自外部資料蒸餾”（Self External Data Distillation, SE2D）方法。其核心思想是在外部無標籤資料上儲存教師模型的logits（模型輸出前的啟用值），並利用這些logits作為穩定訊號，指導學生在學習新教師時避免覆蓋舊知識。這種方法不依賴於任何教師訓練資料，僅需少量外部無標籤資料即可實現。
在多個公開基準上的實驗結果表明，SE2D顯著降低了UKF，同時保持了甚至提升了跨領域的泛化能力。相比基線方法，SE2D在影像分類、語義分割等任務上均取得了更優的效能。這一工作已被CVPR 2026接收，相關程式碼和實現已在GitHub上開源（https://github.com/Nicolas1203/continual_distillation）。
該研究為模型壓縮和持續學習領域開闢了新方向，尤其適用於需要在資源受限裝置上持續更新知識的場景，如自動駕駛、機器人學習和個性化推薦系統。未來工作可進一步探索如何自動選擇外部資料以及如何擴充套件到更多異構教師模型。