放射科醫生在撰寫診斷報告前，通常會多次審視醫學影像，並查閲相關文獻以輔助判斷。然而，現有的視覺語言模型（VLM）通常僅通過一次前向傳播就生成文本，缺乏這種迭代推理的能力。為了彌補這一差距，來自Duaa Alim、Mogtaba Alim和Liam Chalcroft的研究團隊提出了GAZE（Grounded Agentic Zero-shot Evaluation）框架。該框架允許醫療VLM以迭代方式工作，通過調用一系列觀眾級工具（包括縮放、窗寬調整、對比度增強和邊緣檢測）以及兩個由美國國家醫學圖書館支持的檢索工具——PubMed用於醫學文獻檢索，Open-i用於放射學圖像檢索——來模擬放射科醫生的工作流程。所有輸出都經過結構化模式驗證，並記錄完整的工具調用軌跡，以確保可審計性。
GAZE框架在NOVA基準上進行了評估。NOVA是一個專門針對罕見神經系統疾病的基準，包含906例腦部MRI病例，覆蓋281種罕見疾病。在聯合評估協議下，GAZE在未經過任務特定微調的情況下，僅從圖像中實現病灶定位的58.2平均精度均值（[email protected]）以及Top-1診斷準確率34.9%。值得注意的是，即使在未使用任何工具之前，通過結構化提示和模式驗證輸出，性能已從已發佈的Gemini 2.0 Flash基線（20.2 [email protected]）提升至29.4 [email protected]，這表明框架設計本身就是一個重要的實驗變量。
工具使用對罕見病理學的影響尤為顯著。對於診斷樣本數不超過3例的病例，IoU>0.3的比例從17%提升至58%；而對於常見疾病（樣本數≥10例），該比例從25%提升至68%。性能提升與工具使用參與度密切相關：使用Gemini 3 Flash時，Cohen's d=0.79，平均每例調用11.8次工具；而Gemini 2.0 Flash僅有8.2%的病例使用了工具，且未見顯著效益。此外，檢索消融實驗揭示了模型依賴的權衡：診斷準確性的提升可能伴隨着定位性能的下降。這一發現進一步強調了在醫療VLM評估中必須同時考慮診斷、定位和描述生成三個方面，以全面衡量模型的能力。