跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

IMCBench:面向图像 grounding 的多模态大语言模型医学对话基准

文章摘要

研究人员推出 IMCBench,一个基于图像的多轮医学对话基准,用真实临床图像和合成患者档案模拟真实医患互动,从安全性、准确性和不确定性使用三个维度评估多模态大模型。测试显示 Claude Opus 4.6 综合得分最高,但所有模型在恶性与罕见病症上安全性明显下降。

来源arXiv AI作者: Maria Xenochristou, Ashutosh Joshi, Korosh Vatanparvar, Mohammad Abuzar Hashemi, Prasad Kasu, Deepak Bansal, Anchal Nema, Nivedita Wadhwa, Prashams S Jain, Rebecca Abraham, Will Kimbrough, Dilek Hakkani-Tur, Wilko Schulz-Mahlendorf
IMCBench:面向图像 grounding 的多模态大语言模型医学对话基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近期,一个由 Maria Xenochristou 等 13 位作者组成的研究团队提出了 IMCBench,这是一个专门用于评估多模态大语言模型在图像接地医学对话中表现的新基准。该工作已被 ECML PKDD 2026 接收,论文于 2026 年 6 月 26 日发布在 arXiv 上。

现有医学 AI 评测体系存在明显割裂:一部分基准支持多轮对话,却缺少图像输入;另一部分虽然包含多模态数据,但只考察单轮问答任务。为了弥补这一缺口,IMCBench 将真实且公开可用的临床图像与合成的患者档案配对,构建出模拟真实患者与临床医生互动的多轮对话场景。每段对话都围绕三个临床维度进行评估:安全性、准确性,以及在诊断中恰当使用不确定性的能力。

研究团队选取了来自四个模型家族的八款前沿多模态模型进行测试,分别是 Claude、GPT、Nova 和 Llama 系列。评分采用 1 至 5 分制,由大语言模型作为评审(LLM-as-Jury)完成,并经过专家临床医生标注校准,以保证评分的临床相关性。

结果显示,Claude Opus 4.6 取得最高的综合得分 3.61,紧随其后的是 Claude Sonnet 4.6 的 3.30 和 GPT-5.2 的 3.29。然而,没有任何一个模型能够在所有维度上占据绝对优势。尤其值得注意的是,面对恶性疾病和罕见病症时,模型的安全性均出现下降,降幅均为 0.27 分。

消融实验进一步揭示了视觉输入和电子健康记录(EHR)上下文对安全指导的贡献。当分别移除视觉输入或 EHR 上下文时,平均安全性得分分别下降 0.18 和 0.23。研究还发现,能力更强的模型能够更有效地利用视觉特征来提升表现。

这些发现共同表明,准确的临床描述并不等同于安全的患者指导。模型可能能够正确识别图像中的病变,却未必能给出安全、负责任的建议。因此,医学 AI 的评估需要引入多维度的框架,而不能仅停留在诊断准确性上。IMCBench 的推出为这一方向提供了重要的评测工具,并强调了在临床部署前对安全性、不确定性和多轮交互能力进行综合考量的必要性。

展开要点与分析

文章情报

工程师进阶

要点

  • IMCBench 填补了现有医学 AI 基准在图像接地与多轮对话结合上的空白。
  • Claude Opus 4.6 以 3.61 分领先,但无模型在所有维度上占优。
  • 移除视觉输入或电子健康记录上下文会导致安全性分别下降约 0.18 和 0.23。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

IMCBench:面向图像 grounding 的多模态大语言模型医学对话基准 | AI News Hub