本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

GAZE:グラウンデッド・エージェンティック・ゼロショット評価 - ビューワーレベルのツールと文献検索を用いた稀な脳MRIの分析

記事の要約

GAZEフレームワークは医療用VLMに反復的な画像分析と文献検索を可能にし、NOVAベンチマーク(906件の稀な脳MRI症例)において、病変位置特定で[email protected] 58.2、診断精度34.9%を達成。稀な病理に対する改善が顕著であり、ツール使用とモデル依存のトレードオフも明らかにした。

ソースarXiv Machine Learning著者: Duaa Alim, Mogtaba Alim, Liam Chalcroft
GAZE:グラウンデッド・エージェンティック・ゼロショット評価 - ビューワーレベルのツールと文献検索を用いた稀な脳MRIの分析
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

放射線科医は通常、レポートを作成する前に画像を何度も確認し、文献を参照する。しかし、既存の視覚言語モデル(VLM)は一回の順方向パスで画像からテキストを生成するため、このような反復的なプロセスを模倣できない。この問題を解決するため、研究者らはGAZE(Grounded Agentic Zero-shot Evaluation)フレームワークを提案した。GAZEは、医療用VLMがズーム、ウィンドウ調整、コントラスト、エッジ検出などのビューワーレベルのツールと、米国国立医学図書館が提供するPubMed(医学文献)およびOpen-i(放射線画像)の二つの検索ツールを反復的に呼び出すことを可能にする。出力はスキーマに従って構造化検証され、全てのツール呼び出しのトレースが記録されるため、監査可能性が確保される。

このフレームワークは、281種類の稀な神経疾患をカバーする906件の脳MRI症例からなるNOVAベンチマークで評価された。GAZEは、病変位置特定において[email protected]で58.2、Top-1診断精度で34.9%を達成し、いずれもタスク固有の微調整なしで画像のみからスコアリングされた。ツールを使用する前の段階でも、構造化プロンプトとスキーマ検証出力により、公開されているGemini 2.0 Flashベースライン(20.2 [email protected])から29.4 [email protected]に改善されており、フレームワーク設計自体が実験変数であることが示された。

ツール使用は稀な病理に対して特に大きな効果を発揮した。診断例が3件以下の症例ではIoU>0.3の割合が17%から58%に上昇したのに対し、一般的な疾患(10件以上)では25%から68%への上昇にとどまった。性能向上はツール使用の頻度と相関しており、Gemini 3 FlashではCohen's d=0.79、1症例あたり平均11.8回のツール呼び出しがあった一方、Gemini 2.0 Flashでは8.2%の症例でしかツールが使用されず、有意な効果は見られなかった。さらに、検索ツールの除去実験により、診断精度の向上が位置特定精度の低下と同時に発生するというモデル依存のトレードオフが明らかになり、医療VLMの評価において診断、位置特定、キャプション生成を統合的に評価する必要性が再確認された。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • GAZEは医療VLMが放射線科医のように画像を繰り返し確認し文献を検索することを可能にする。
  • NOVAベンチマーク(906件の脳MRI、281種の稀な疾患)で、微調整なしに[email protected] 58.2、診断精度34.9%を達成。
  • ツール使用は稀な症例に特に有効:少数サンプル(≤3)でIoU>0.3が17%から58%に向上。
  • 検索除去実験により診断と位置特定の間にモデル依存のトレードオフが示され、総合評価の重要性が強調される。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。