这篇题为《LEAP: Layer-skipping Efficiency via Adaptive Progression for Vision Transformer Distillation》的论文于2026年6月17日提交至arXiv（编号arXiv:2606.19483v1，属计算机视觉与模式识别cs.CV分类），第一作者为Jiaqi Zhang，共有6位作者参与。论文关注的核心问题在于：以Vision Transformer（ViT）为骨干的视觉基础模型（VFM）——例如DINOv2——已成为目标识别、语义分割等下游任务的关键基础，但其庞大的计算需求在边缘设备部署时往往难以承受，因此需要将大模型蒸馏到更小的架构中。
现有的基于特征的知识蒸馏（KD）方法普遍面临“师生差距”的瓶颈：学生模型容量有限，难以直接模仿教师模型复杂的高层特征图，导致蒸馏效果受限。为缓解这一问题，作者提出LEAP（Layer-skipping Efficiency via Adaptive Progression），一种面向ViT特征蒸馏的训练课程（training curriculum）。其思路是将教师模型的中间特征图组织成一系列难度递进的目标，让学生模型先建立基础表征，再逐步学习更高层次的抽象特征。
在实验层面，LEAP在多种学生模型规模和数据集规模下均表现出显著效果。作者称该方法通过自适应难度选择大幅加速了收敛。具体而言，经由LEAP蒸馏的ViT-S在ImageNet-100上达到90.1%的准确率，相比基线提升12.24%；在ImageNet-1K上，LEAP在Oxford和Paris数据集的实例检索任务中分别取得3.84%和7.75%的提升。
除精度收益外，LEAP还带来训练效率的改善：通过在训练初期对教师推理实施早停（early-stopping），该课程在ImageNet-100上实现了25.1%的训练FLOPs节省和21%的训练时间节省。论文代码已在GitHub公开，地址为https://github.com/KevinZ0217/LEAP。该工作属于arXiv 2026年6月的新提交，全文可通过PDF、实验性HTML及TeX源码等形式获取。