跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

CaVe-VLM-CoT:可解释的视觉语言模型框架

文章摘要

研究人员提出CaVe-VLM-CoT,一种基于反思的模块化代理式RAG框架,通过五阶段闭环流程强制实现证据接地的推理。该框架在ScienceQA上达到87.1%准确率和56.6%的CaVeScore,在MMMU上达到55.2%准确率和35.7%的CaVeScore,无需修改模型架构或提示。

来源arXiv AI作者: Sneha Rao, Shaina Raza, Dhanesh Ramachandram
CaVe-VLM-CoT:可解释的视觉语言模型框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

CaVe-VLM-CoT 是由 Sneha Rao 等三位作者完成的一篇新论文,于 2026 年 6 月 16 日提交至 arXiv,归类为人工智能(cs.AI),编号 arXiv:2606.18385。该研究的核心问题在于:视觉语言模型(VLM)至今仍容易产生幻觉,输出虽然语言流畅,却在视觉上缺乏忠实性。现有的思维链(chain-of-thought)方法和检索增强方法只能部分缓解这一问题,因为它们既没有强制实现步骤级的引用落地(step-level citation grounding),也没有在验证失败时把错误反馈回检索环节进行修正。

针对这一缺口,作者提出了 CaVe-VLM-CoT,一个模块化的、基于反思的 agentic-RAG 框架。它通过一个五阶段闭环流水线来强制实现有证据支撑的推理,这五个阶段分别是:Extractor(抽取器)、Retriever(检索器)、Solver(求解器)、Citation Injector(引用注入器)和 Verifier(验证器)。其关键机制在于闭环反馈:当验证器检测到某一步推理中的主张缺乏依据(ungrounded claim)时,会向 Extractor 发送结构化反馈,触发有针对性的重新检索,从而让错误的推理得到纠正,而不仅仅是被标记出来。

在评估方面,作者指出目前尚不存在能够同时衡量检索质量、逐步引用忠实度和跨模态 grounding 的框架。为此,他们提出了一套覆盖所有流水线阶段的 23 项组件级指标,并以 CaVeScore 作为核心综合指标。CaVeScore 对准确率、引用精确率与召回率、归因(attribution)以及证据 grounding 进行加权,从而给出一个复合评分。

实验结果显示,在完全不修改模型架构、也不修改提示词的情况下,CaVe-VLM-CoT 在 ScienceQA 上达到 87.1% 的准确率和 56.6% 的 CaVeScore;在覆盖 30 个学科的 MMMU 基准上,则取得 55.2% 的准确率和 35.7% 的 CaVeScore。这些结果说明,通过在推理流程外部叠加检索、引用和验证的闭环机制,可以在不改动底层 VLM 的前提下提升输出的可解释性与证据一致性,同时也表明在更困难的跨学科多模态任务上,证据 grounded 推理仍有较大的提升空间。

需要注意的是,本文为 arXiv 预印本(v1),于 2026 年 6 月 16 日 18:28:47 UTC 提交,全文约 1,039 KB,DOI 为 10.48550/arXiv.2606.18385(由 DataCite 发放,尚待注册)。论文当前处于 cs.AI 的 new 分类下,尚未经过同行评审,读者在引用其指标与结果时应留意这一状态。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出五阶段闭环管道:提取器、检索器、求解器、引用注入器和验证器,验证失败会触发结构化反馈以进行针对性重新检索。
  • 设计23个组件级指标及复合指标CaVeScore,联合衡量检索质量、逐步引用忠实度和跨模态接地。
  • 在不修改架构或提示的情况下,ScienceQA上准确率87.1%、CaVeScore 56.6%;MMMU上准确率55.2%、CaVeScore 35.7%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。