跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

先聚焦再診斷:通過主動縮放實現置信度感知的超聲VQA

文章摘要

現有視覺語言模型在超聲圖像問答中表現欠佳,因為它們無法模擬超聲技師主動聚焦病灶的認知過程,且忽略了標註的主觀性。本文提出一種框架,引入“縮放-診斷”範式和基於不確定性的獎勵機制,在GRPO框架下鼓勵模型對清晰病例增強準確預測,對模糊病例保持謹慎。在肝臟、乳腺和甲狀腺數據集上,病灶定位準確率提升39.3%。

來源arXiv Computer Vision作者: Yue Zhou, Erxuan Wu, Yikang Sun, Hongjoo Lee, Yuan Bi, Huixiong Xu, Zhongliang Jiang
先聚焦再診斷:通過主動縮放實現置信度感知的超聲VQA
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

視覺語言模型(VLM)在醫學視覺問答任務中取得了顯著進展,但在超聲影像領域,其性能仍然不夠理想。臨牀實踐中,超聲技師在生成報告前會明確聚焦於病灶區域,然而由於固有的主觀性,不同技師的診斷解讀可能存在差異。現有VLM並未內置交互式縮放病灶的能力,而且通常將標註視為無偏真值,忽略了其主觀性和模糊性。

針對這一挑戰,來自中國的研究團隊提出了一種考慮超聲技師認知工作流的框架。該框架首先引入結構化的“縮放-診斷”(Zoom-then-Diagnose)範式,通過模擬交互式搜索過程實現病灶聚焦推理。具體來説,模型會主動選擇圖像中的區域進行放大,然後基於放大後的細節進行診斷決策。這一過程模仿了超聲技師在真實臨牀中的操作方式。

此外,在組相對策略優化(Group Relative Policy Optimization, GRPO)框架內,研究人員設計了一種基於不確定性感知的獎勵機制。通過在每次策略更新時進行多次隨機組展開,估計模型預測的一致性,並以此作為置信度的代理。如果模型在某個病例上多次預測一致,説明該病例較為清晰,獎勵機制會鼓勵模型給出準確的答案;反之,如果預測不一致,説明病例存在歧義,模型應該謹慎行事,避免過度自信。

實驗在肝臟、乳腺和甲狀腺超聲數據集上進行,結果顯示該框架使病灶定位準確率提升了39.3%,表明模型已經學會了主動“湊近觀察”再診斷的能力。這一成果有望推動超聲影像自動化診斷的準確性提升,並增強模型對主觀性標註的魯棒性。該論文由Yue Zhou等人撰寫,於2026年5月20日提交至arXiv,收錄於計算機視覺與模式識別(cs.CV)和人工智能(cs.AI)領域。

展開要點與分析

文章情報

工程師中級

要點

  • 提出“縮放-診斷”範式,模擬超聲技師交互式搜索病灶的過程。
  • 在GRPO框架中引入不確定性感知獎勵,通過隨機組展開估計預測一致性作為置信度代理。
  • 在肝臟、乳腺和甲狀腺數據集上病灶定位提升39.3%。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。