arXivに掲載された回顧的研究は、救急CTおよびMRI検査を読影する際の視覚言語モデル(VLM)エージェントの診断精度と画像ナビゲーション行動を評価した。Jonathan Lichtle氏ら12名によるこの研究は、異なる探索戦略がモデルの性能に与える影響を検証することを目的とした。
研究では、2025年3月から2026年8月までに公開アーカイブに掲載された100件の救急CTおよびMRI検査を対象とした。6つのVLMが4つの条件でこれらの画像を読影した。条件は、自由ナビゲーション、キースライスからのナビゲーション、全スライスを1回のリクエストで提示、キースライスを1回のリクエストで提示の4つである。各条件を2回ずつ実行し、合計4800回の読影を行った。さらに、9名の放射線科医が30症例を読影し、比較対照とした。回答の採点は、2名の放射線科医に対して検証済みの大規模言語モデルによるジャッジが担当した。統計解析には、症例をクラスタとする一般化推定方程式を用いた。
結果として、自由ナビゲーション条件での総合精度が最も低く32.6%(391/1200)であった。キースライスからのナビゲーションでは37.9%(455/1200;P=0.003)とやや改善した。一方、全スライスを1回で提示した場合は42.2%(506/1200)、キースライスを1回で提示した場合は42.5%(510/1200)と最も高く、いずれも自由ナビゲーションと比較して統計的に有意な差が認められた(P<0.001)。
放射線科医が読影した30症例において、自由ナビゲーションを行ったモデルの正答率は30.0%(108/360)であったのに対し、放射線科医の正答率は77.0%(208/270)であり、その差は極めて顕著であった(P<0.001)。これは、最良の探索戦略を用いてもVLMの診断精度が人間の専門家には遠く及ばないことを示している。
また、モデルのナビゲーション行動には特徴的なパターンが観察された。モデルは読影したスライスの中央値10.8%の時点で最初の仮説を形成し、63.1%の実行(755/1196)でその仮説を維持した。最初の仮説が誤っていた場合、最終回答の正答率は12.4%(110/885)にとどまったのに対し、最初の仮説が正しかった場合は90.4%(281/311)と高かった(P<0.001)。このことは、モデルが早期に仮説を固定し、その後の読影で誤りを修正する能力に乏しいことを示唆している。
さらに、モデルが最終回答に対して示した自信度の中央値は90%であったが、実際に正しかったのは38.9%(1861/4778)に過ぎなかった。この過信傾向は、臨床応用における信頼性の面で課題となる。
結論として、どの探索戦略を用いてもVLMエージェントの診断精度は放射線科医を大きく下回った。モデルは早期に仮説を形成してそれを維持する傾向があり、誤った仮説を自己修正することは稀である。これらの知見は、救急画像診断における現在のVLMの活用には慎重な姿勢が必要であり、今後のモデル改善には探索と検証のメカニズムの強化が求められることを示している。