放射線科医は通常、レポートを作成する前に画像を何度も確認し、文献を参照する。しかし、既存の視覚言語モデル(VLM)は一回の順方向パスで画像からテキストを生成するため、このような反復的なプロセスを模倣できない。この問題を解決するため、研究者らはGAZE(Grounded Agentic Zero-shot Evaluation)フレームワークを提案した。GAZEは、医療用VLMがズーム、ウィンドウ調整、コントラスト、エッジ検出などのビューワーレベルのツールと、米国国立医学図書館が提供するPubMed(医学文献)およびOpen-i(放射線画像)の二つの検索ツールを反復的に呼び出すことを可能にする。出力はスキーマに従って構造化検証され、全てのツール呼び出しのトレースが記録されるため、監査可能性が確保される。
このフレームワークは、281種類の稀な神経疾患をカバーする906件の脳MRI症例からなるNOVAベンチマークで評価された。GAZEは、病変位置特定において[email protected]で58.2、Top-1診断精度で34.9%を達成し、いずれもタスク固有の微調整なしで画像のみからスコアリングされた。ツールを使用する前の段階でも、構造化プロンプトとスキーマ検証出力により、公開されているGemini 2.0 Flashベースライン(20.2 [email protected])から29.4 [email protected]に改善されており、フレームワーク設計自体が実験変数であることが示された。
ツール使用は稀な病理に対して特に大きな効果を発揮した。診断例が3件以下の症例ではIoU>0.3の割合が17%から58%に上昇したのに対し、一般的な疾患(10件以上)では25%から68%への上昇にとどまった。性能向上はツール使用の頻度と相関しており、Gemini 3 FlashではCohen's d=0.79、1症例あたり平均11.8回のツール呼び出しがあった一方、Gemini 2.0 Flashでは8.2%の症例でしかツールが使用されず、有意な効果は見られなかった。さらに、検索ツールの除去実験により、診断精度の向上が位置特定精度の低下と同時に発生するというモデル依存のトレードオフが明らかになり、医療VLMの評価において診断、位置特定、キャプション生成を統合的に評価する必要性が再確認された。