深層学習モデルの規模が急速に拡大し、単一モデルのストレージ要件が大規模データセットさえも上回る事例が増えている。この傾向は、モデル展開時のリソース効率に根本的な疑問を投げかける。東京大学などの研究チームは、軽量な学生モデルが複数の教師モデルから逐次的に学習し、元の教師モデルやその訓練データを保持することなく知識を蓄積する新たなパラダイム「継続的蒸留（Continual Distillation, CD）」を提案した。
継続的蒸留では、学生モデルは二つの核心的課題に直面する。第一に、教師モデルの訓練データが通常利用不可であること、第二に、教師ごとに得意分野が大きく異なることである。これらの課題に対処するため、研究チームはまず外部のラベルなしデータの役割を理論的に分析し、「未見知識転移（UKT：教師が知っているが学生の訓練データには存在しないドメインの知識を獲得できる現象）」が可能であることを示した。しかし、その後の実験で新たな問題が明らかになった。新しい教師モデルを学習するにつれ、以前に転移された知識が徐々に失われる「未見知識忘却（UKF）」である。
UKTとUKFのバランスを最適化するために、研究者らは「自己外部データ蒸留（Self External Data Distillation, SE2D）」を考案した。SE2Dは、外部のラベルなしデータ上で教師モデルのロジット（出力前の活性値）を保存し、それらを安定化信号として利用することで、学生が新しい教師を学習する際に古い知識を上書きするのを防ぐ。この手法は教師の訓練データを一切必要とせず、少量の外部ラベルなしデータのみで動作する。
複数の公開ベンチマークを用いた実験の結果、SE2DはUKFを大幅に低減し、クロスドメイン汎化性能を維持・向上させることが確認された。画像分類やセマンティックセグメンテーションなどのタスクにおいて、SE2Dはベースライン手法を上回る性能を示した。本研究成果はCVPR 2026に採択され、関連コードと実装はGitHub（https://github.com/Nicolas1203/continual_distillation）で公開されている。
本研究はモデル圧縮と継続学習の分野に新たな方向性を提供するものであり、特にリソース制約のあるデバイス上で知識を継続的に更新する必要がある自動運転、ロボット学習、パーソナライズド推薦システムなどの応用に貢献することが期待される。今後の課題として、外部データの自動選択や、より多様な異種教師モデルへの拡張が挙げられる。