这篇被 ECCV 2026 接收的论文《Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting》，由 Qian Ma 等四位作者完成，于 2026 年 6 月 30 日提交至 arXiv（编号 arXiv:2607.00159，属 cs.CL，并交叉涉及 cs.CV、cs.IR 与 cs.MM），关注的是一类常被默认可靠的评测范式：基于知识的视觉问答（KB-VQA）。该任务本来用于考察视觉语言模型（VLM）能否在图像证据之外，检索、定位并推理外部结构化知识。然而在实践层面，答案准确率几乎成为唯一的评价指标，人们默认为“答对”就等于“进行了有知识依据的推理”。论文指出，这种替代关系建立在若干很少被审视的假设之上：标注答案必须能从所关联的知识库中推导出来；问题必须表述完整、约束充分；视觉场景必须真正需要基于图像的消歧。作者通过系统审计表明，现有 KB-VQA 基准普遍违反上述假设。
审计结果揭示出三类具体问题。第一，大量样本的答案与知识库缺失或相互矛盾，使正确性无法被验证。第二，问题表述不充分，缺少必要约束，模型可能靠猜测或表面匹配过关。第三，数据集大量采用视觉上过于简单的单实体场景，绕开了从视觉到知识的复杂映射，模型无需真正进行视觉定位与消歧即可作答。这些缺陷并非模型架构问题，作者进一步证明：即便采用受控的模型架构，基准本身的瑕疵仍会扭曲模型排名，并高估其推理能力，使得准确率成为误导性指标。
针对上述问题，作者提出两项方法。其一是原则化的“审计与修复”流程，通过重新审视样本，恢复答案的可推导性与问题的清晰度，从而让评测重新具备可验证性。其二是受控的多实体增强流程，主动引入视觉上的歧义，迫使模型在初始检索与基于图像证据的定位推理阶段面对更真实的挑战，而不是依赖单实体捷径。
在修正与增强后的设定下重新评测，模型的性能趋势出现明显变化，说明原基准下的排名与能力判断并不可靠。作者据此呼吁重新思考 KB-VQA 的评测协议，设计更注重交互、以可验证推理而非简单匹配为核心的新基准。论文声明数据集与代码已公开，并附有 ECCV 2026 的录用信息，为后续研究提供了可复现的基础。