跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

协同感知-推理治理:以可验证解剖证据锚定医疗多模态大模型

文章摘要

这篇被MICCAI 2026提前接收的论文提出一种无需额外训练的“双侧证据注入”框架,通过在视觉感知和文本推理两个环节引入ROI引导的激活调制与解剖坐标离散语义令牌,并配合任务感知动态路由器,显著减少医疗多模态大模型在临床VQA和放射报告生成中的推理期幻觉。

来源arXiv Computer Vision作者: Rui Hao, Qiankun Li, Junyuan Mao, Linghao Meng, Dirui Xie, Dayu Tan, Zhigang Zeng
协同感知-推理治理:以可验证解剖证据锚定医疗多模态大模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

多模态大语言模型(MLLM)在临床视觉问答(VQA)和放射学报告生成方面展现出强劲潜力,但在推理阶段出现的幻觉问题仍会削弱其可信度:模型可能给出语言流畅却与影像证据相矛盾的结论。现有的缓解策略通常依赖额外训练、外部检索或知识库、或多阶段的生成后验证,这些做法提高了成本与流程复杂度,并且往往难以在不同模型与任务之间泛化。

针对这一问题,来自相关研究团队(Rui Hao 等共 7 位作者)的论文提出了一种整体性、免训练的证据注入框架,通过“双侧证据注入”系统性地缓解幻觉。该方法在实现中利用 MedSAM 获取的感兴趣区域(ROI)先验:一方面通过 ROI 引导的激活调制重新校准视觉感知轨迹,另一方面将解剖坐标映射为离散语义标记,作为可验证的外部记忆,从而锚定文本推理轨迹。随后,作者引入任务感知的动态路由器,根据任务语义选择特定模态的干预手段,在感知落地的准确性与语言流畅性之间取得平衡。

在评估方面,研究团队在 2 项任务和 5 个数据集上进行了系统性实验,所用模型包括 LLaVA-1.5-7B、LLaVA-Med-1.5-7B、Qwen3-VL-8B/32B 以及 InternVL-3.5-8B/38B。受控消融实验与可视化结果进一步验证了该框架的有效性:在多个医学基准上,该方法持续优于基线,将闭式问题准确率最高提升约 6%,并将开放式生成中的幻觉降低约 35%。

论文的时间线信息显示,该工作于 2026 年 6 月 30 日提交至 arXiv,编号为 arXiv:2607.00060(cs.CV 领域),提交时长为 08:07:25 UTC,文件大小约 2,073 KB。该论文已被 MICCAI 2026 接收,并获得 Early Accept(前 9%)的评价。作者已将代码开源,托管在 GitHub 上(https://github.com/Henry991115/SPRG),便于社区复现与后续研究。

总体而言,该研究的意义在于:它不依赖额外训练或复杂的外部检索管线,而是借助可验证的解剖证据在视觉感知与文本推理两侧同时施加约束,为医学多模态模型的可信部署提供了一条成本更低、泛化性更好的技术路径。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出无需训练的双侧证据注入框架,同时校准视觉感知轨迹与文本推理轨迹,避免额外训练、外部检索或多阶段事后验证带来的成本与复杂度。
  • 利用MedSAM获取ROI先验,通过ROI引导的激活调制重校准视觉感知;将解剖坐标映射为离散语义令牌,作为可验证外部记忆锚定文本推理。
  • 引入任务感知动态路由器,按任务语义选择模态特异性干预,在感知接地与语言流畅性之间取得平衡。
  • 在2项任务、5个数据集及LLaVA-1.5-7B、LLaVA-Med-1.5-7B、Qwen3-VL-8B/32B、InternVL-3.5-8B/38B上验证,闭环准确率最高提升约6%,开放式幻觉降低约35%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。