在 arXiv 上最新提交的一篇论文中，研究人员提出了 TheProfessor，这是一种针对视觉语言模型（VLM）的多教师无监督提示蒸馏框架。该工作建立在 PromptKD（CVPR 2024）的基础之上，后者通过匹配教师在未标注领域图像上的预测，将大型 VLM（如 CLIP）压缩为轻量级学生模型。PromptKD 使用单一的 PromptSRC 微调的 ViT-L/14 教师和 ViT-B/16 学生，而 TheProfessor 将这一范式扩展为固定的双教师集成。
具体而言，TheProfessor 从两个教师中蒸馏知识：一个是领域微调的 PromptSRC ViT-L/14 教师，另一个是零样本 EVA-CLIP-L/14 教师，后者的 logits 在每个数据集上预先计算。研究团队在四个基类到新类的数据集上评估了三种配置：单教师 PromptKD、等概率集成和置信度加权集成。这四个数据集分别是 Caltech-101、DTD、UCF101 和 EuroSAT。
在 12 次单种子扫描中，置信度加权集成将平均 HM 从 87.52 提升到 89.28，增加了 1.77 个百分点；而等权平均将平均 HM 提升到 88.88，增加了 1.37 个百分点。值得注意的是，增益高度依赖于数据集：在 Caltech-101 上几乎可以忽略（置信度加权仅提升 0.16 HM），在 UCF101 上较为温和（+0.62），而在域偏移明显的 EuroSAT 上提升最大（+5.78）。这些结果更新了作者此前仅基于 Caltech-101 的分析，表明当第二个教师在域偏移下提供互补监督时，多教师提示蒸馏最为有用。
该论文提交于 2026 年 6 月 22 日，作者为 Ahmad Algadhi、Ahmed Alzuhair、Omar Alkhulaif 和 Muzammil Behzad，属于计算机视觉与模式识别（cs.CV）以及人工智能（cs.AI）领域。研究强调了集成教师信号在无监督蒸馏中的潜力，尤其是在目标领域与源领域存在分布差异时。未来的工作可能会探索更动态的教师加权方案或扩展到更多教师，以进一步提升学生模型的泛化能力。