多模态大语言模型(MLLM)在图像分析方面表现出色,但要把这种能力迁移到少样本图像分类任务上仍然存在困难。为此,Yunhan Wang 等六位作者提出了一种名为 DeCoDe 的简单而有效的技术,让现成的多模态大模型无需任何额外训练就能充当强力的少样本分类器。该论文于 2026 年 6 月 30 日提交至 arXiv,编号为 arXiv:2607.00125v1,属于计算机视觉与模式识别(cs.CV)领域。
DeCoDe 的核心思路是把少样本分类重新表述为一组成对的图像比较,从而将任务分解为一系列二元判断。具体而言,给定一张查询图像和一张来自候选类别的支持图像,模型被提示判断这两张图像是否描绘同一类别。随后,模型给出肯定回答所对应的 logit 被用作相似度分数,并据此把查询图像分配给最可能的类别。这种方法不需要对模型进行微调或重新训练,直接利用现成的多模态大模型即可完成分类。
研究团队进一步发现,在提示中向模型提供额外的高层信息,例如数据所属领域,能够进一步提升性能。这说明模型的隐式少样本学习能力可以通过恰当的上下文提示被激活和增强。
在评估方面,作者对多种推理变体进行了广泛分析,实验覆盖十二个数据集,其中包括六个已有基准和六个新构建的少样本基准,横跨多个不同领域。结果显示,这种简单的分解技术能够把现成的多模态大模型转变为强大的少样本学习器,在标准领域和全新领域上都显著优于当前最先进的少样本方法。论文代码已在 GitHub 上公开,地址为 https://github.com/yunhanwang1105/DeCoDe,方便研究者复现和进一步探索。
总体来看,这项工作揭示了多模态大模型本身已经具备隐式的少样本学习能力,关键在于如何通过分解与比较的提示策略将其释放出来。该方法不依赖额外训练,实现简单,且在多个数据集上表现优异,为少样本图像分类提供了一条新的实用路径,也为未来在多模态模型推理策略方面的研究提供了启示。