事前学習された視覚言語モデル（VLM）は、画像とテキスト記述の類似度を計算することでゼロショット画像分類を可能にする。テキスト記述は通常、クラスラベル（例：「猫」）をプロンプト（例：「……の写真」）に挿入して形成される。しかし、画像-クラス対のスコアはプロンプトの選択に敏感であるため、既存研究では複数のプロンプトを重みベクトルで統合してスコアを集約している。しかし、現在の戦略では各プロンプトの重みベクトルが全クラスで共有されており、プロンプトとクラスが条件付き独立であると暗に仮定しているが、実際には「航空写真」のようなプロンプトは「空港」には適していても「リンゴ」には不適切であることが多い。
この問題に対処するため、研究者らはクラス認識型ゼロショットプロンプト再重み付け（CARPRT）を提案する。このスコアリング方式は、訓練不要で各クラスラベルの重みベクトルを調整し、異なるプロンプトのクラス特異的な関連性を捉える。各クラスラベルと利用可能なプロンプトについて、そのプロンプトの下でそのクラスに予測された画像の画像-テキスト関連性スコアを平均することでクラス特異的な関連性を定量化する。これらの推定値を正規化してクラス固有の重みを得る。
標準的な画像分類ベンチマークでの評価では、CARPRTは既存のクラス独立な再重み付け手法を上回り、プロンプトとクラスの依存関係をモデル化することが効果的なゼロショット予測や、プロンプトアンサンブルに依存するより広範なVLMベースのアプリケーション設定にとって重要であることが確認された。コードはGitHubで公開されている。本論文はICLR 2026で採択された。