放射科医生在撰写诊断报告前，通常会多次审视医学影像，并查阅相关文献以辅助判断。然而，现有的视觉语言模型（VLM）通常仅通过一次前向传播就生成文本，缺乏这种迭代推理的能力。为了弥补这一差距，来自Duaa Alim、Mogtaba Alim和Liam Chalcroft的研究团队提出了GAZE（Grounded Agentic Zero-shot Evaluation）框架。该框架允许医疗VLM以迭代方式工作，通过调用一系列观众级工具（包括缩放、窗宽调整、对比度增强和边缘检测）以及两个由美国国家医学图书馆支持的检索工具——PubMed用于医学文献检索，Open-i用于放射学图像检索——来模拟放射科医生的工作流程。所有输出都经过结构化模式验证，并记录完整的工具调用轨迹，以确保可审计性。
GAZE框架在NOVA基准上进行了评估。NOVA是一个专门针对罕见神经系统疾病的基准，包含906例脑部MRI病例，覆盖281种罕见疾病。在联合评估协议下，GAZE在未经过任务特定微调的情况下，仅从图像中实现病灶定位的58.2平均精度均值（[email protected]）以及Top-1诊断准确率34.9%。值得注意的是，即使在未使用任何工具之前，通过结构化提示和模式验证输出，性能已从已发布的Gemini 2.0 Flash基线（20.2 [email protected]）提升至29.4 [email protected]，这表明框架设计本身就是一个重要的实验变量。
工具使用对罕见病理学的影响尤为显著。对于诊断样本数不超过3例的病例，IoU>0.3的比例从17%提升至58%；而对于常见疾病（样本数≥10例），该比例从25%提升至68%。性能提升与工具使用参与度密切相关：使用Gemini 3 Flash时，Cohen's d=0.79，平均每例调用11.8次工具；而Gemini 2.0 Flash仅有8.2%的病例使用了工具，且未见显著效益。此外，检索消融实验揭示了模型依赖的权衡：诊断准确性的提升可能伴随着定位性能的下降。这一发现进一步强调了在医疗VLM评估中必须同时考虑诊断、定位和描述生成三个方面，以全面衡量模型的能力。