RADIANT-PET：大規模言語モデルと強化学習を用いたPET/CT病変セグメンテーションの推論拡張
RADIANT-PETは、高感度ボクセルレベルのセグメンテーションモデルと病変レベルの大規模言語モデル（LLM）による判定を組み合わせた新しい推論拡張フレームワークです。候補領域を構造化テキストに変換し、放射線レポートを利用してLLMが真の病変と偽陽性を分類します。GRPOによる強化学習でLLMを最適化し、AutoPETとOSUデータセットで画像のみのベースラインを上回る性能を示しました。
腫瘍学において、PET/CT画像の正確な病変セグメンテーションは重要ですが、生理的トレーサー集積やアーティファクトが悪性シグナルを模倣するため、困難が伴います。この課題に対し、研究チームはRADIANT-PETフレームワークを提案しました。本手法は、高感度なボクセルレベルのセグメンテーションモデルと、大規模言語モデル（LLM）による病変レベルの推論を革新的に組み合わせます。
RADIANT-PETの処理は二段階で行われます。まず、意図的に寛容なセグメンテーション段階で候補集積領域を生成し、高い再現率を確保します。次に、これらの候補領域を、集積強度、形態、局所および全体の解剖学的背景を要約した構造化テキスト記述に変換します。LLMは判定者として、各候補を真の病変または偽陽性に分類し、オプションで放射線レポートを追加の臨床コンテキストとして利用できます。
LLMの推論能力をさらに強化するため、研究チームはグループ相対方策最適化（GRPO）を用いた強化学習を適用しました。報酬は正しい病変分類と解剖学的に一致した部位割り当てに基づき、モデルが病変を識別するだけでなく、その位置の妥当性も確保します。
AutoPETおよびオハイオ州立大学（OSU）テストコホートでの評価では、RADIANT-PETは強力な画像のみのベースラインを一貫して上回りました。特に放射線レポートが利用可能な場合に性能向上が最大となり、言語情報が視覚情報の不足を補うことが示されました。全体として、LLMベースの病変レベルの推論が従来のセグメンテーションに新たな推論層を追加し、生理的偽陽性を抑制し、ボクセルレベルの予測を臨床解釈と整合させることを実証しました。プロジェクトのコードはGitHub（https://github.com/jwang-580/RADIANT-PET）で公開されています。
さらに、研究者は候補記述戦略やLLM設計の選択が性能に与える影響を分析しました。アブレーション実験により、解剖学的背景情報をテキスト記述に含めることが分類性能の向上に不可欠であることが判明しました。GRPO強化学習は直接微調整と比較してより安定した改善をもたらし、特に稀な病変や解剖学的変異の処理において効果的でした。これらの知見は、言語推論を医用画像解析に統合するための実用的なガイダンスを提供します。