视觉语言模型在医学视觉问答领域已取得显著进展,但在超声影像上的表现仍不理想。这项由Yue Zhou等七位作者完成、于2026年5月20日提交至arXiv的论文,针对这一差距提出了一套模仿超声医师工作方式的框架。
论文首先指出现有模型的三个问题。第一,临床中超声医师会明确地把注意力集中在病灶区域,再据此撰写报告;然而现有视觉语言模型并没有被显式地组织成“先交互式放大病灶、再作诊断”的结构。第二,医师之间的诊断解读有时会因固有的主观性而出现分歧,但现有模型通常把标注当作无偏的真实标准来处理,未考虑标注本身存在的主观性与模糊性。第三,超声影像本身噪声大、对比度低,使病灶定位与判读更加困难。
为解决这些问题,作者提出了名为“Look-Closer-Then-Diagnose”(先细看、再诊断)的框架,其核心由两个组件构成。第一个组件是结构化的“缩放再诊断”范式,它复现了超声医师在检查中反复调整探头、放大目标区域、再作判断的交互式搜索过程,使模型能够围绕病灶进行聚焦推理,而不是一次性对整幅图像给出答案。
第二个组件位于强化学习环节。作者在Group Relative Policy Optimization(GRPO)框架内设计了一种不确定性感知奖励:通过对同一输入进行多次随机分组滚动采样,观察模型多次预测之间的一致性,并以这种一致性作为模型置信度的代理指标。换言之,如果模型在不同采样下给出高度一致的答案,说明它对该判断较有信心;如果答案摇摆不定,则说明该病例本身存在模糊性。
这两个组件结合起来,使模型在训练中形成一种分化的行为策略:对于图像清晰、病灶明确的病例,模型会强化其正确预测;对于存在歧义、难以判读的病例,则倾向于保持谨慎,而不是给出过于武断的结论。这与临床医师面对不确定影像时的处理方式相呼应。
实验部分覆盖了肝脏、乳腺和甲状腺三个超声数据集。结果显示,该框架将病灶定位性能提升了39.3%。作者据此认为,模型确实学到了“主动凑近去看、然后再诊断”的能力,而不仅仅是记住了静态的图像—文本对应关系。
从更广的意义上看,这项工作把临床工作流中的两个要素——主动视觉搜索与对标注不确定性的诚实处理——同时纳入了模型设计。论文被归入计算机视觉与模式识别(cs.CV)以及人工智能(cs.AI)两个分类,DOI为10.48550/arXiv.2605.21652,全文约1.4MB,以PDF与实验性HTML形式提供。