多模态大语言模型(MLLM)在临床视觉问答(VQA)和放射学报告生成方面展现出强劲潜力,但在推理阶段出现的幻觉问题仍会削弱其可信度:模型可能给出语言流畅却与影像证据相矛盾的结论。现有的缓解策略通常依赖额外训练、外部检索或知识库、或多阶段的生成后验证,这些做法提高了成本与流程复杂度,并且往往难以在不同模型与任务之间泛化。
针对这一问题,来自相关研究团队(Rui Hao 等共 7 位作者)的论文提出了一种整体性、免训练的证据注入框架,通过“双侧证据注入”系统性地缓解幻觉。该方法在实现中利用 MedSAM 获取的感兴趣区域(ROI)先验:一方面通过 ROI 引导的激活调制重新校准视觉感知轨迹,另一方面将解剖坐标映射为离散语义标记,作为可验证的外部记忆,从而锚定文本推理轨迹。随后,作者引入任务感知的动态路由器,根据任务语义选择特定模态的干预手段,在感知落地的准确性与语言流畅性之间取得平衡。
在评估方面,研究团队在 2 项任务和 5 个数据集上进行了系统性实验,所用模型包括 LLaVA-1.5-7B、LLaVA-Med-1.5-7B、Qwen3-VL-8B/32B 以及 InternVL-3.5-8B/38B。受控消融实验与可视化结果进一步验证了该框架的有效性:在多个医学基准上,该方法持续优于基线,将闭式问题准确率最高提升约 6%,并将开放式生成中的幻觉降低约 35%。
论文的时间线信息显示,该工作于 2026 年 6 月 30 日提交至 arXiv,编号为 arXiv:2607.00060(cs.CV 领域),提交时长为 08:07:25 UTC,文件大小约 2,073 KB。该论文已被 MICCAI 2026 接收,并获得 Early Accept(前 9%)的评价。作者已将代码开源,托管在 GitHub 上(https://github.com/Henry991115/SPRG),便于社区复现与后续研究。
总体而言,该研究的意义在于:它不依赖额外训练或复杂的外部检索管线,而是借助可验证的解剖证据在视觉感知与文本推理两侧同时施加约束,为医学多模态模型的可信部署提供了一条成本更低、泛化性更好的技术路径。