跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

先细看再诊断:基于主动缩放的置信度感知超声视觉问答

文章摘要

该论文提出一种模拟超声医师认知流程的框架:先引入结构化的“缩放再诊断”范式,让模型像人一样主动放大病灶区域再作答;再在GRPO强化学习框架内加入基于随机分组采样的一致性奖励,用来估计模型置信度。在肝脏、乳腺和甲状腺数据集上,病灶定位提升39.3%,说明模型学会了先细看再诊断。

来源arXiv Computer Vision作者: Yue Zhou, Erxuan Wu, Yikang Sun, Hongjoo Lee, Yuan Bi, Huixiong Xu, Zhongliang Jiang
先细看再诊断:基于主动缩放的置信度感知超声视觉问答
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

视觉语言模型在医学视觉问答领域已取得显著进展,但在超声影像上的表现仍不理想。这项由Yue Zhou等七位作者完成、于2026年5月20日提交至arXiv的论文,针对这一差距提出了一套模仿超声医师工作方式的框架。

论文首先指出现有模型的三个问题。第一,临床中超声医师会明确地把注意力集中在病灶区域,再据此撰写报告;然而现有视觉语言模型并没有被显式地组织成“先交互式放大病灶、再作诊断”的结构。第二,医师之间的诊断解读有时会因固有的主观性而出现分歧,但现有模型通常把标注当作无偏的真实标准来处理,未考虑标注本身存在的主观性与模糊性。第三,超声影像本身噪声大、对比度低,使病灶定位与判读更加困难。

为解决这些问题,作者提出了名为“Look-Closer-Then-Diagnose”(先细看、再诊断)的框架,其核心由两个组件构成。第一个组件是结构化的“缩放再诊断”范式,它复现了超声医师在检查中反复调整探头、放大目标区域、再作判断的交互式搜索过程,使模型能够围绕病灶进行聚焦推理,而不是一次性对整幅图像给出答案。

第二个组件位于强化学习环节。作者在Group Relative Policy Optimization(GRPO)框架内设计了一种不确定性感知奖励:通过对同一输入进行多次随机分组滚动采样,观察模型多次预测之间的一致性,并以这种一致性作为模型置信度的代理指标。换言之,如果模型在不同采样下给出高度一致的答案,说明它对该判断较有信心;如果答案摇摆不定,则说明该病例本身存在模糊性。

这两个组件结合起来,使模型在训练中形成一种分化的行为策略:对于图像清晰、病灶明确的病例,模型会强化其正确预测;对于存在歧义、难以判读的病例,则倾向于保持谨慎,而不是给出过于武断的结论。这与临床医师面对不确定影像时的处理方式相呼应。

实验部分覆盖了肝脏、乳腺和甲状腺三个超声数据集。结果显示,该框架将病灶定位性能提升了39.3%。作者据此认为,模型确实学到了“主动凑近去看、然后再诊断”的能力,而不仅仅是记住了静态的图像—文本对应关系。

从更广的意义上看,这项工作把临床工作流中的两个要素——主动视觉搜索与对标注不确定性的诚实处理——同时纳入了模型设计。论文被归入计算机视觉与模式识别(cs.CV)以及人工智能(cs.AI)两个分类,DOI为10.48550/arXiv.2605.21652,全文约1.4MB,以PDF与实验性HTML形式提供。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出结构化的Zoom-then-Diagnose范式,复现超声医师先聚焦病灶再诊断的交互式搜索过程。
  • 在Group Relative Policy Optimization框架中引入不确定性感知奖励,通过随机分组滚动采样估计预测一致性,作为模型置信度的代理。
  • 该机制让模型在清晰病例上强化正确预测,在模糊病例上保持谨慎。
  • 在肝脏、乳腺、甲状腺数据上病灶定位提升39.3%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。