MonteRET：利用多粒度知识检索增强多模态大语言模型的AI智能体，用于胸部CT报告生成
MonteRET是一种区域感知的检索增强框架，用于自动生成胸部CT报告。它整合全局和局部CT特征，检索相关医学知识，并通过知识引导的报告重写智能体优化初始报告。在RadGenome-ChestCT数据集和外部医院数据上，MonteRET在报告质量、语义相似性和临床效果上均优于现有方法。
自动生成胸部CT报告是医学影像分析中的一个重要挑战。一份临床可靠的报告不仅需要对整个胸部体积有全面的理解，还必须准确描述局部解剖结构的异常发现。传统的自动化方法往往难以同时满足这两点要求。为此，研究者开发了MonteRET——一种区域感知的检索增强框架，专门用于生成胸部CT的发现部分。
MonteRET的核心创新在于其多粒度知识检索机制。该框架首先整合全局CT特征与区域级的解剖表示，利用预测的医疗条件和区域级的视觉-语言对齐技术，从知识库中检索与当前病例最相关的临床知识。随后，一个知识引导的报告重写智能体根据检索到的知识对初始报告进行精炼，确保最终输出既符合整体影像特征，又准确反映局部病变。
在模型训练方面，研究团队使用了来自RadGenome-ChestCT数据集的24,128次CT扫描作为训练集。评估则分为两部分：内部测试集包含1,564次来自同一数据源的CT扫描，外部验证集则包含来自纽约长老会医院/威尔·康奈尔医学中心的82次CT扫描。实验结果显示，与匹配的基线方法及多种最先进技术相比，MonteRET在报告质量、语义相似性和临床有效性上均取得了显著提升。其中，召回率的改善最为突出，表明该框架有效减少了遗漏发现的情况。
此外，通过邀请放射科住院医师进行人工评估，MonteRET生成的报告也获得了更高的偏好度。这一成果表明，结合多粒度知识检索的AI智能体在辅助医学报告生成领域具有巨大潜力，有望减轻放射科医生的工作负担并提高诊断的准确性。