腫瘍学画像分析において、PET/CTの病変セグメンテーションは診断と治療計画に不可欠であるが、生理的なトレーサー取り込みやアーチファクトが悪性信号と似ているため誤判定が生じやすい。そこで研究者らは、高感度のボクセルレベルセグメンテーションと病変レベルの大規模言語モデル(LLM)判定を組み合わせた推論拡張フレームワークRADIANT-PETを提案した。
RADIANT-PETのワークフローは2段階に分かれる。まず、意図的に寛容なセグメンテーション段階で候補取り込み領域を生成し、高感度を確保して潜在病変を見逃さないようにする。次に、これらの候補領域を構造化テキスト記述に変換し、取り込み強度、形態学的特徴、領域的および全体的な解剖学的コンテキストを要約する。このテキスト記述をLLMへの入力とし、各候補が真の病変か偽陽性かを分類する。オプションとして、放射線レポートを追加の臨床コンテキストとして利用し、判定精度を高めることができる。
病変レベルの推論能力を強化するため、研究チームは強化学習を用いてローカルLLMを最適化した。具体的にはGroup Relative Policy Optimizationを採用し、正しい病変分類と解剖学的に一致する部位割り当てに報酬を与える。この最適化により、モデルは病変と生理的取り込みを区別するだけでなく、予測を臨床的解釈と整合させることができる。
AutoPETデータセットとオハイオ州立大学(OSU)テストコホートでの実験では、RADIANT-PETが強力な画像のみのベースラインモデルを一貫して上回ることが示された。最大の性能向上は放射線レポートが提供されたシナリオで見られ、臨床テキスト情報がモデルの推論能力を著しく高めることを示唆している。総じて、これらの結果は、LLMベースの病変レベル推論が従来のセグメンテーションに新たな推論層を追加し、生理的偽陽性を効果的に抑制し、ボクセルレベルの予測を臨床的解釈と一致させることを証明している。プロジェクトのコードリポジトリはGitHubで公開されている。