跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

分解、比较与决策:多模态大语言模型是隐式少样本学习器

文章摘要

研究人员提出DeCoDe技术,通过将少样本图像分类分解为成对图像比较的二分类任务,让现成的多模态大语言模型无需额外训练即可成为强大的少样本分类器,并在12个数据集上显著超越现有最优方法。

来源arXiv Computer Vision作者: Yunhan Wang, Eshika Khandelwal, Edson Araujo, Walid Bousselham, Nina Shvetsova, Hilde Kuehne
分解、比较与决策:多模态大语言模型是隐式少样本学习器
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

多模态大语言模型(MLLM)在图像分析方面表现出色,但要把这种能力迁移到少样本图像分类任务上仍然存在困难。为此,Yunhan Wang 等六位作者提出了一种名为 DeCoDe 的简单而有效的技术,让现成的多模态大模型无需任何额外训练就能充当强力的少样本分类器。该论文于 2026 年 6 月 30 日提交至 arXiv,编号为 arXiv:2607.00125v1,属于计算机视觉与模式识别(cs.CV)领域。

DeCoDe 的核心思路是把少样本分类重新表述为一组成对的图像比较,从而将任务分解为一系列二元判断。具体而言,给定一张查询图像和一张来自候选类别的支持图像,模型被提示判断这两张图像是否描绘同一类别。随后,模型给出肯定回答所对应的 logit 被用作相似度分数,并据此把查询图像分配给最可能的类别。这种方法不需要对模型进行微调或重新训练,直接利用现成的多模态大模型即可完成分类。

研究团队进一步发现,在提示中向模型提供额外的高层信息,例如数据所属领域,能够进一步提升性能。这说明模型的隐式少样本学习能力可以通过恰当的上下文提示被激活和增强。

在评估方面,作者对多种推理变体进行了广泛分析,实验覆盖十二个数据集,其中包括六个已有基准和六个新构建的少样本基准,横跨多个不同领域。结果显示,这种简单的分解技术能够把现成的多模态大模型转变为强大的少样本学习器,在标准领域和全新领域上都显著优于当前最先进的少样本方法。论文代码已在 GitHub 上公开,地址为 https://github.com/yunhanwang1105/DeCoDe,方便研究者复现和进一步探索。

总体来看,这项工作揭示了多模态大模型本身已经具备隐式的少样本学习能力,关键在于如何通过分解与比较的提示策略将其释放出来。该方法不依赖额外训练,实现简单,且在多个数据集上表现优异,为少样本图像分类提供了一条新的实用路径,也为未来在多模态模型推理策略方面的研究提供了启示。

展开要点与分析

文章情报

投资人进阶

要点

  • DeCoDe将少样本分类转化为查询图像与支持图像之间的成对二分类比较,利用模型肯定回答的logit作为相似度分数进行分类。
  • 向模型提供数据领域等高层信息可进一步提升性能。
  • 在6个已有和6个新构建的少样本基准上,该方法在标准和新领域均显著优于当前最优少样本方法。
  • 该方法无需任何额外训练,可直接应用于现成的多模态大语言模型。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。