在医学影像领域，评估视觉-语言模型（VLM）需要一个既具有临床依据、又可扩展，并且能够控制评估混杂因素的基准。现有的公开基准往往规模有限、依赖人工标注，或者可能已泄漏到VLM的预训练语料中。针对这些问题，一篇新论文提出了一种自动化代理驱动的流程，可直接从配对的私有放射学报告和3D肿瘤影像中生成多选题视觉问答（VQA）数据集。该工作以预印本形式发布在arXiv上，作者包括Bo Liu等九人，提交于2026年6月1日。
该流程生成两种互补的问题类型。第一种是RADS风格的问题，这些问题根据临床医生定义的报告模式确定性地推导出来，确保与结构化报告标准一致。第二种是放射学报告衍生的问题，由大型语言模型（LLM）根据放射科医生的发现生成，并对照源报告进行验证，以确保准确性。这种双管齐下的方法既利用了专家定义的规则，也利用了LLM的生成能力，同时保持了与原始报告的关联。
研究团队将这一流程应用于四个内部癌症队列，生成了一个控制实例污染的基准，且无需对每个问题进行人工标注。实例污染控制意味着每个评估实例都可以溯源到特定的患者或影像，从而降低训练数据泄漏的风险。由于数据来自私有报告和影像，它们不太可能出现在公开预训练语料中，从而进一步减少了污染的可能性。
对六种VLM进行零盲测评估后，结果显示没有哪一种模型在所有任务上占据主导地位，各个评估单元都存在显著的提升空间。这表明当前的VLM在肿瘤学3D医学影像的VQA任务上仍有很大的改进余地。
一项盲消融实验进一步揭示了视觉依赖性的高度数据集特异性。对于肝脏的报告衍生问题，模型确实需要图像信息才能正确回答；然而对于肺部CT，问题几乎可以在没有图像的情况下解决——领先的闭源模型在盲测（无图像）时的准确率甚至超过了有图像时的准确率。这一发现令人惊讶，说明即使使用私有临床数据，也不能保证对视觉能力的评估不受污染。换言之，模型可能依赖文本线索或记忆中的模式来回答问题，而非真正理解图像内容。
该流程已作为开放代理技能发布，可供其他机构在内部重新部署。这意味着研究者和临床机构可以使用自己的私有数据生成类似的基准，从而在保护隐私的同时评估VLM在其特定临床环境中的表现。这项工作的贡献在于提供了一种可扩展、自动化且临床相关的方法来构建医学VQA基准，并强调了在评估多模态模型时控制污染和验证视觉依赖性的重要性。