这篇题为《Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification》(先定位再排序:以免训练实体识别重新审视知识型视觉问答)的论文由 Qian Ma 等三位作者完成,于2026年6月22日提交至 arXiv,编号为 arXiv:2606.23881v1,主分类为计算与语言(cs.CL),并同时涉及计算机视觉与模式识别(cs.CV)以及信息检索(cs.IR)。该论文已被 ACL 2026 Findings 接收,作者还提供了项目主页以方便查阅与复现。
研究背景方面,知识型视觉问答(KB-VQA)要求系统把视觉查询与图像中无法直接观察到的外部知识关联起来。近期的多模态大语言模型(MLLM)在感知能力上表现突出,但在需要同时完成细粒度实体级与证据级定位的 KB-VQA 任务上仍显吃力。现有的大多数多模态检索增强生成(MM-RAG)方法把实体判别与章节级证据排序紧密耦合在同一个重排序阶段中,这种设计带来了较高的计算成本,也限制了方法的泛化能力。
作者从工作流的角度重新审视了现有的 MM-RAG 方案,认为实体级定位与事实级定位都是关键瓶颈。他们注意到一个值得利用的现象:尽管 MLLM 在开放式实体命名时经常出错,但当它只需从一小组候选名称中做出选择时,往往能够更准确地识别出正确实体。基于这一观察,论文提出了一个简单且无需训练的“先识别后回答”(identify-before-answer,IBA)框架,将实体识别与章节级重排序明确解耦。
在具体流程上,该方法首先提示 MLLM 仅依据候选名称选出高置信度的实体,随后交给现成的文本重排序器完成证据选择。这样的分工避免了为多模态重排序专门进行微调,同时降低了训练与推理的复杂度。作者在 Encyclopedic-VQA 和 InfoSeek 两个数据集上进行了实验,结果显示该方法稳定优于经过微调的多模态重排序基线。
论文的补充分析进一步指出,性能提升不仅来自更准确的实体识别,也来自在实体确定之后能够选出信息量更高的证据。为便于复现,作者已公开实现。整体而言,这项工作的价值在于用更简洁的免训练流程替代复杂的耦合式重排序,并清楚揭示了实体定位与证据定位各自对 KB-VQA 表现的贡献。