RADIANT-PET：结合大语言模型与强化学习的PET/CT病变分割推理增强框架
RADIANT-PET是一个新颖的推理增强框架，它将高灵敏度体素级分割模型与基于大语言模型（LLM）的病变级别裁决相结合，用于PET/CT成像中的准确病变分割。通过形态学描述和临床报告上下文，LLM可区分真正的病变与生理性假阳性，并利用组相对策略优化（GRPO）进行强化学习微调。在AutoPET和OSU测试集上，该方法显著优于纯图像基线，尤其在整合放射学报告时提升最大。
在肿瘤学中，PET/CT成像的精确病变分割对于诊断和治疗至关重要，但生理性示踪剂摄取和伪影常常模拟恶性信号，导致假阳性。针对这一挑战，研究团队提出了RADIANT-PET框架，该框架创新性地将高灵敏度体素级分割模型与大语言模型（LLM）的病变级推理相结合。
RADIANT-PET的工作流程分为两个阶段。首先，采用一个刻意宽松的分割阶段生成候选摄取区域，确保高召回率。然后，将这些候选区域转换为结构化的文本描述，包括摄取强度、形态以及局部和全局解剖背景。接着，LLM作为裁决者，将每个候选分类为真正病变或假阳性，并可选地利用放射学报告作为额外的临床上下文。
为了进一步增强LLM的推理能力，研究团队采用组相对策略优化（GRPO）对本地LLM进行强化学习优化。奖励机制基于正确的病变分类和解剖位置一致性，从而使模型不仅识别病变，还能确保其解剖位置的合理性。
在AutoPET和俄亥俄州立大学（OSU）测试队列上的实验结果显示，RADIANT-PET在各项指标上持续优于强大的纯图像基线。当提供放射学报告时，性能提升最为显著，这表明语言信息可以弥补视觉信息的不足。总体而言，该研究证明了基于LLM的病变级推理为传统分割方法添加了新的推理层，有效抑制了生理性假阳性，并使体素级预测与临床解释保持一致。该项目代码已在GitHub上开源，地址为https://github.com/jwang-580/RADIANT-PET。
此外，研究者还分析了不同候选描述策略和LLM设计选择的影响。通过消融实验，他们发现将解剖背景信息纳入文本描述对于提升分类性能至关重要。GRPO强化学习相比直接微调带来了更稳定的改进，特别是在处理罕见病变和解剖变异时。这些发现为将语言推理融入医学图像分析提供了实用指导。