跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

先定位后排序:无需训练即可识别实体的知识型视觉问答新方法

文章摘要

该论文提出IBA框架,将实体识别与证据排序解耦,通过让多模态大模型从候选名称中选择高置信度实体,再使用文本重排器选取证据,在Encyclopedic-VQA和InfoSeek上超越微调基线且降低计算复杂度。

来源arXiv Computational Linguistics作者: Qian Ma, Qiong Wu, Zhengyi Zhou, Yao Ma
先定位后排序:无需训练即可识别实体的知识型视觉问答新方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇题为《Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification》(先定位再排序:以免训练实体识别重新审视知识型视觉问答)的论文由 Qian Ma 等三位作者完成,于2026年6月22日提交至 arXiv,编号为 arXiv:2606.23881v1,主分类为计算与语言(cs.CL),并同时涉及计算机视觉与模式识别(cs.CV)以及信息检索(cs.IR)。该论文已被 ACL 2026 Findings 接收,作者还提供了项目主页以方便查阅与复现。

研究背景方面,知识型视觉问答(KB-VQA)要求系统把视觉查询与图像中无法直接观察到的外部知识关联起来。近期的多模态大语言模型(MLLM)在感知能力上表现突出,但在需要同时完成细粒度实体级与证据级定位的 KB-VQA 任务上仍显吃力。现有的大多数多模态检索增强生成(MM-RAG)方法把实体判别与章节级证据排序紧密耦合在同一个重排序阶段中,这种设计带来了较高的计算成本,也限制了方法的泛化能力。

作者从工作流的角度重新审视了现有的 MM-RAG 方案,认为实体级定位与事实级定位都是关键瓶颈。他们注意到一个值得利用的现象:尽管 MLLM 在开放式实体命名时经常出错,但当它只需从一小组候选名称中做出选择时,往往能够更准确地识别出正确实体。基于这一观察,论文提出了一个简单且无需训练的“先识别后回答”(identify-before-answer,IBA)框架,将实体识别与章节级重排序明确解耦。

在具体流程上,该方法首先提示 MLLM 仅依据候选名称选出高置信度的实体,随后交给现成的文本重排序器完成证据选择。这样的分工避免了为多模态重排序专门进行微调,同时降低了训练与推理的复杂度。作者在 Encyclopedic-VQA 和 InfoSeek 两个数据集上进行了实验,结果显示该方法稳定优于经过微调的多模态重排序基线。

论文的补充分析进一步指出,性能提升不仅来自更准确的实体识别,也来自在实体确定之后能够选出信息量更高的证据。为便于复现,作者已公开实现。整体而言,这项工作的价值在于用更简洁的免训练流程替代复杂的耦合式重排序,并清楚揭示了实体定位与证据定位各自对 KB-VQA 表现的贡献。

展开要点与分析

文章情报

工程师进阶

要点

  • IBA是一个无需训练的识别-回答框架,将实体识别与章节级重排解耦。
  • 利用MLLM在候选名称选择上的优势,结合现成文本重排器进行证据选择。
  • 在Encyclopedic-VQA和InfoSeek上一致优于微调多模态重排基线,并降低训练和推理复杂度。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。