CARPRT：面向黑盒视觉语言模型的类别感知零样本提示重加权
预训练的视觉语言模型（VLM）通过计算图像与文本描述的相似度实现零样本图像分类，但描述模板（prompt）的选择对结果敏感。现有方法为所有类别使用相同的权重组合多个模板，忽略了模板对特定类别的适用性差异。CARPRT 提出了一种无需训练的类别感知重加权方案，针对每个类别自适应调整模板权重。在标准基准测试中，CARPRT 优于现有的类别无关方法，证实了建模模板-类别依赖关系对零样本预测和 VLM 应用的重要性。
预训练的视觉语言模型（VLM）如 CLIP 能够通过计算图像与文本描述之间的相似度来实现零样本图像分类。通常，文本描述是通过将类别标签（例如“猫”）插入到提示模板（例如“一张……的照片”）中形成的。然而，模型对于给定图像-类别对的分數对提示模板的选择非常敏感。为了缓解这一问题，现有研究通常将多个提示模板的分数进行集成，通过一个权重向量来聚合不同模板的分数。但目前的策略中，每个模板的权重向量对所有类别是共享的，这隐含地假设了提示模板与类别是条件独立的，而在实际应用中这一假设往往不成立。例如，提示模板“鸟瞰视角下的”可能适用于“机场”，但对“苹果”来说并不合适。
为了解决这一局限，来自多家机构的研究者提出了类别感知零样本提示重加权（CARPRT）方法。CARPRT 是一种无需额外训练的评分方案，能够根据每个类别标签自适应地调整模板权重向量，捕捉不同提示对于特定类别的相关性。具体而言，对于每个类别标签和每个可用的提示模板，CARPRT 通过计算在该模板下被预测为该类别的图像与模板之间的图像-文本相关性分数的平均值，来量化该模板对该类别的特异性相关度。随后对这些估计值进行归一化，得到类别特定的权重。
在多个标准图像分类基准上的评估表明，CARPRT 显著优于现有的类别无关重加权方法。这些结果证实了建模提示模板与类别之间的依赖关系对于有效的零样本预测至关重要，并且该方法可以推广到更广泛的基于提示模板集成的 VLM 应用场景。研究者已在 GitHub 上公开了代码，以供社区进一步探索和应用。该工作已被 ICLR 2026 接收。