MonteRET：利用多粒度知識檢索增強多模態大語言模型的AI智能體，用於胸部CT報告生成
MonteRET是一種區域感知的檢索增強框架，用於自動生成胸部CT報告。它整合全局和局部CT特徵，檢索相關醫學知識，並通過知識引導的報告重寫智能體優化初始報告。在RadGenome-ChestCT數據集和外部醫院數據上，MonteRET在報告質量、語義相似性和臨牀效果上均優於現有方法。
自動生成胸部CT報告是醫學影像分析中的一個重要挑戰。一份臨牀可靠的報告不僅需要對整個胸部體積有全面的理解，還必須準確描述局部解剖結構的異常發現。傳統的自動化方法往往難以同時滿足這兩點要求。為此，研究者開發了MonteRET——一種區域感知的檢索增強框架，專門用於生成胸部CT的發現部分。
MonteRET的核心創新在於其多粒度知識檢索機制。該框架首先整合全局CT特徵與區域級的解剖表示，利用預測的醫療條件和區域級的視覺-語言對齊技術，從知識庫中檢索與當前病例最相關的臨牀知識。隨後，一個知識引導的報告重寫智能體根據檢索到的知識對初始報告進行精煉，確保最終輸出既符合整體影像特徵，又準確反映局部病變。
在模型訓練方面，研究團隊使用了來自RadGenome-ChestCT數據集的24,128次CT掃描作為訓練集。評估則分為兩部分：內部測試集包含1,564次來自同一數據源的CT掃描，外部驗證集則包含來自紐約長老會醫院/威爾·康奈爾醫學中心的82次CT掃描。實驗結果顯示，與匹配的基線方法及多種最先進技術相比，MonteRET在報告質量、語義相似性和臨牀有效性上均取得了顯著提升。其中，召回率的改善最為突出，表明該框架有效減少了遺漏發現的情況。
此外，通過邀請放射科住院醫師進行人工評估，MonteRET生成的報告也獲得了更高的偏好度。這一成果表明，結合多粒度知識檢索的AI智能體在輔助醫學報告生成領域具有巨大潛力，有望減輕放射科醫生的工作負擔並提高診斷的準確性。