視覺語言模型(VLM)在醫學視覺問答任務中取得了顯著進展,但在超聲影像領域,其性能仍然不夠理想。臨牀實踐中,超聲技師在生成報告前會明確聚焦於病灶區域,然而由於固有的主觀性,不同技師的診斷解讀可能存在差異。現有VLM並未內置交互式縮放病灶的能力,而且通常將標註視為無偏真值,忽略了其主觀性和模糊性。
針對這一挑戰,來自中國的研究團隊提出了一種考慮超聲技師認知工作流的框架。該框架首先引入結構化的“縮放-診斷”(Zoom-then-Diagnose)範式,通過模擬交互式搜索過程實現病灶聚焦推理。具體來説,模型會主動選擇圖像中的區域進行放大,然後基於放大後的細節進行診斷決策。這一過程模仿了超聲技師在真實臨牀中的操作方式。
此外,在組相對策略優化(Group Relative Policy Optimization, GRPO)框架內,研究人員設計了一種基於不確定性感知的獎勵機制。通過在每次策略更新時進行多次隨機組展開,估計模型預測的一致性,並以此作為置信度的代理。如果模型在某個病例上多次預測一致,説明該病例較為清晰,獎勵機制會鼓勵模型給出準確的答案;反之,如果預測不一致,説明病例存在歧義,模型應該謹慎行事,避免過度自信。
實驗在肝臟、乳腺和甲狀腺超聲數據集上進行,結果顯示該框架使病灶定位準確率提升了39.3%,表明模型已經學會了主動“湊近觀察”再診斷的能力。這一成果有望推動超聲影像自動化診斷的準確性提升,並增強模型對主觀性標註的魯棒性。該論文由Yue Zhou等人撰寫,於2026年5月20日提交至arXiv,收錄於計算機視覺與模式識別(cs.CV)和人工智能(cs.AI)領域。