RADIANT-PET：結合大語言模型與強化學習的PET/CT病變分割推理增強框架
RADIANT-PET是一個新穎的推理增強框架，它將高靈敏度體素級分割模型與基於大語言模型（LLM）的病變級別裁決相結合，用於PET/CT成像中的準確病變分割。通過形態學描述和臨牀報告上下文，LLM可區分真正的病變與生理性假陽性，並利用組相對策略優化（GRPO）進行強化學習微調。在AutoPET和OSU測試集上，該方法顯著優於純圖像基線，尤其在整合放射學報告時提升最大。
在腫瘤學中，PET/CT成像的精確病變分割對於診斷和治療至關重要，但生理性示蹤劑攝取和偽影常常模擬惡性信號，導致假陽性。針對這一挑戰，研究團隊提出了RADIANT-PET框架，該框架創新性地將高靈敏度體素級分割模型與大語言模型（LLM）的病變級推理相結合。
RADIANT-PET的工作流程分為兩個階段。首先，採用一個刻意寬鬆的分割階段生成候選攝取區域，確保高召回率。然後，將這些候選區域轉換為結構化的文本描述，包括攝取強度、形態以及局部和全局解剖背景。接着，LLM作為裁決者，將每個候選分類為真正病變或假陽性，並可選地利用放射學報告作為額外的臨牀上下文。
為了進一步增強LLM的推理能力，研究團隊採用組相對策略優化（GRPO）對本地LLM進行強化學習優化。獎勵機制基於正確的病變分類和解剖位置一致性，從而使模型不僅識別病變，還能確保其解剖位置的合理性。
在AutoPET和俄亥俄州立大學（OSU）測試隊列上的實驗結果顯示，RADIANT-PET在各項指標上持續優於強大的純圖像基線。當提供放射學報告時，性能提升最為顯著，這表明語言信息可以彌補視覺信息的不足。總體而言，該研究證明了基於LLM的病變級推理為傳統分割方法添加了新的推理層，有效抑制了生理性假陽性，並使體素級預測與臨牀解釋保持一致。該項目代碼已在GitHub上開源，地址為https://github.com/jwang-580/RADIANT-PET。
此外，研究者還分析了不同候選描述策略和LLM設計選擇的影響。通過消融實驗，他們發現將解剖背景信息納入文本描述對於提升分類性能至關重要。GRPO強化學習相比直接微調帶來了更穩定的改進，特別是在處理罕見病變和解剖變異時。這些發現為將語言推理融入醫學圖像分析提供了實用指導。