視覚基盤モデル（VFM）は、DINOv2のような視覚Transformer（ViT）バックボーンを持ち、物体認識やセマンティックセグメンテーションなどの下流タスクに不可欠な存在となっている。しかし、バックボーンの計算要求は膨大であるため、エッジ展開のために小型アーキテクチャへの蒸留が必要となることが多い。特徴量ベースの知識蒸留（KD）は、教師と学生の間のギャップにしばしば悩まされる。学生モデルは容量が限られているため、教師の複雑な特徴マップを模倣するのに苦労する。このボトルネックを緩和するため、研究者らはLEAP（Layer-skipping Efficiency via Adaptive Progression）を提案した。これはViT特徴量蒸留のための訓練カリキュラムである。
LEAPの中心的なアイデアは、教師モデルの中間特徴マップを一連の難易度が徐々に上がるターゲットとして扱うことである。カリキュラムは浅い層の比較的単純な特徴から始まり、学生モデルがまず基礎的な表現を構築し、その後により高次の抽象的特徴に挑戦できるようにする。この適応的難易度選択メカニズムにより、収束が大幅に加速され、さまざまな規模の学生モデルやデータセットに適用できる。
実験結果は、LEAPカリキュラムが複数のベンチマークで顕著な改善をもたらすことを示している。ImageNet-100では、LEAPで蒸留されたViT-Sモデルが90.1%の精度を達成し、ベースラインと比較して12.24%向上した。ImageNet-1Kでは、LEAPはOxfordおよびParisデータセットのインスタンス検索タスクでそれぞれ3.84%と7.75%の改善を実現した。さらに、このカリキュラムは訓練初期に教師推論の早期停止を実装することで、ImageNet-100で訓練FLOPsを25.1%、訓練時間を21%節約できる。
LEAPのコードはGitHub（https://github.com/KevinZ0217/LEAP）で公開されている。この研究は、視覚Transformerの効率的な蒸留に新しいカリキュラム学習の視点を提供し、エッジコンピューティング環境における軽量視覚モデルの応用を促進することが期待される。