近期,一个由 Maria Xenochristou 等 13 位作者组成的研究团队提出了 IMCBench,这是一个专门用于评估多模态大语言模型在图像接地医学对话中表现的新基准。该工作已被 ECML PKDD 2026 接收,论文于 2026 年 6 月 26 日发布在 arXiv 上。
现有医学 AI 评测体系存在明显割裂:一部分基准支持多轮对话,却缺少图像输入;另一部分虽然包含多模态数据,但只考察单轮问答任务。为了弥补这一缺口,IMCBench 将真实且公开可用的临床图像与合成的患者档案配对,构建出模拟真实患者与临床医生互动的多轮对话场景。每段对话都围绕三个临床维度进行评估:安全性、准确性,以及在诊断中恰当使用不确定性的能力。
研究团队选取了来自四个模型家族的八款前沿多模态模型进行测试,分别是 Claude、GPT、Nova 和 Llama 系列。评分采用 1 至 5 分制,由大语言模型作为评审(LLM-as-Jury)完成,并经过专家临床医生标注校准,以保证评分的临床相关性。
结果显示,Claude Opus 4.6 取得最高的综合得分 3.61,紧随其后的是 Claude Sonnet 4.6 的 3.30 和 GPT-5.2 的 3.29。然而,没有任何一个模型能够在所有维度上占据绝对优势。尤其值得注意的是,面对恶性疾病和罕见病症时,模型的安全性均出现下降,降幅均为 0.27 分。
消融实验进一步揭示了视觉输入和电子健康记录(EHR)上下文对安全指导的贡献。当分别移除视觉输入或 EHR 上下文时,平均安全性得分分别下降 0.18 和 0.23。研究还发现,能力更强的模型能够更有效地利用视觉特征来提升表现。
这些发现共同表明,准确的临床描述并不等同于安全的患者指导。模型可能能够正确识别图像中的病变,却未必能给出安全、负责任的建议。因此,医学 AI 的评估需要引入多维度的框架,而不能仅停留在诊断准确性上。IMCBench 的推出为这一方向提供了重要的评测工具,并强调了在临床部署前对安全性、不确定性和多轮交互能力进行综合考量的必要性。