arXivに最近投稿された論文で、研究者らは視覚言語モデル（VLM）のためのマルチティーチャー無監督プロンプト蒸留フレームワーク「TheProfessor」を提案した。この研究はPromptKD（CVPR 2024）の上に構築されており、PromptKDはラベルのないドメイン画像上で教師の予測を一致させることで、CLIPのような大規模VLMを軽量な学生モデルに圧縮する。PromptKDは単一のPromptSRC微調整ViT-L/14教師とViT-B/16学生を使用するが、TheProfessorはこれを固定された2教師アンサンブルに拡張する。
具体的には、TheProfessorは2つの教師から知識を蒸留する。1つはドメイン微調整されたPromptSRC ViT-L/14教師で、もう1つはゼロショットEVA-CLIP-L/14教師であり、後者のロジットはデータセットごとに事前計算される。研究チームは4つのベースからノベルへのデータセット（Caltech-101、DTD、UCF101、EuroSAT）で、単一教師PromptKD、等確率アンサンブル、信頼度重み付きアンサンブルの3つの構成を評価した。
12回の単一種子スイープにおいて、信頼度重み付きアンサンブルは平均HMを87.52から89.28へと1.77ポイント改善し、等重み平均は平均HMを88.88へと1.37ポイント改善した。注目すべきは、改善幅がデータセットに大きく依存することである。Caltech-101ではほぼ無視できる程度（信頼度重み付きで+0.16 HM）であり、UCF101では中程度（+0.62）、ドメインシフトが顕著なEuroSATでは最大（+5.78）であった。これらの結果は、著者らが以前に行ったCaltech-101のみの分析を更新するものであり、2番目の教師がドメインシフト下で補完的な監督を提供する場合に、マルチティーチャープロンプト蒸留が最も有用であることを示している。
本論文は2026年6月22日に投稿され、著者はAhmad Algadhi、Ahmed Alzuhair、Omar Alkhulaif、Muzammil Behzadである。コンピュータビジョンとパターン認識（cs.CV）および人工知能（cs.AI）の分野に属する。この研究は、特にターゲットドメインがソースドメインと分布が異なる場合に、無監督蒸留における教師信号のアンサンブルの可能性を強調している。今後の研究では、より動的な教師重み付けスキームや、学生モデルの汎化能力をさらに向上させるためのより多くの教師への拡張が探索される可能性がある。