CARPRT：面向黑盒視覺語言模型的類別感知零樣本提示重加權
預訓練的視覺語言模型（VLM）通過計算圖像與文本描述的相似度實現零樣本圖像分類，但描述模板（prompt）的選擇對結果敏感。現有方法為所有類別使用相同的權重組合多個模板，忽略了模板對特定類別的適用性差異。CARPRT 提出了一種無需訓練的類別感知重加權方案，針對每個類別自適應調整模板權重。在標準基準測試中，CARPRT 優於現有的類別無關方法，證實了建模模板-類別依賴關係對零樣本預測和 VLM 應用的重要性。
預訓練的視覺語言模型（VLM）如 CLIP 能夠通過計算圖像與文本描述之間的相似度來實現零樣本圖像分類。通常，文本描述是通過將類別標籤（例如“貓”）插入到提示模板（例如“一張……的照片”）中形成的。然而，模型對於給定圖像-類別對的分數對提示模板的選擇非常敏感。為了緩解這一問題，現有研究通常將多個提示模板的分數進行集成，通過一個權重向量來聚合不同模板的分數。但目前的策略中，每個模板的權重向量對所有類別是共享的，這隱含地假設了提示模板與類別是條件獨立的，而在實際應用中這一假設往往不成立。例如，提示模板“鳥瞰視角下的”可能適用於“機場”，但對“蘋果”來説並不合適。
為了解決這一侷限，來自多家機構的研究者提出了類別感知零樣本提示重加權（CARPRT）方法。CARPRT 是一種無需額外訓練的評分方案，能夠根據每個類別標籤自適應地調整模板權重向量，捕捉不同提示對於特定類別的相關性。具體而言，對於每個類別標籤和每個可用的提示模板，CARPRT 通過計算在該模板下被預測為該類別的圖像與模板之間的圖像-文本相關性分數的平均值，來量化該模板對該類別的特異性相關度。隨後對這些估計值進行歸一化，得到類別特定的權重。
在多個標準圖像分類基準上的評估表明，CARPRT 顯著優於現有的類別無關重加權方法。這些結果證實了建模提示模板與類別之間的依賴關係對於有效的零樣本預測至關重要，並且該方法可以推廣到更廣泛的基於提示模板集成的 VLM 應用場景。研究者已在 GitHub 上公開了代碼，以供社區進一步探索和應用。該工作已被 ICLR 2026 接收。