MedRealMM：面向中文在线医疗咨询的真实世界多模态基准
MedRealMM是一个基于中国互联网医院真实医患对话的大规模多模态基准，包含5,620个案例，覆盖64个科室。它通过多模态临床挑战点（MCCP）框架提取关键临床时刻，并评估19个通用和医学专用大语言模型。结果表明，图像信息对临床性能至关重要，当前前沿模型虽在某些正面指标上接近医生，但触发更多负面指标，安全敏感性错误避免仍是主要瓶颈。
大语言模型（LLM）在在线医疗咨询中的应用日益增多，但现有基准往往与真实临床实践脱节。许多基准依赖合成对话或患者模拟器，忽略了患者上传的医学图像，或使用多项选择或词汇重叠指标评估开放式临床回答，难以反映临床质量。为此，研究人员推出了MedRealMM，一个基于中国全国性互联网医院脱敏医患交互数据构建的大规模多模态基准。
MedRealMM采用多模态临床挑战点（MCCP）提取框架，从真实的咨询轨迹中识别临床关键时刻，并将每个时刻转化为标准化的下一回答生成任务，同时保留前序文本和图像上下文。每个实例都配有由医生优化的案例特定评分标准，奖励临床理想行为并惩罚不安全、无依据或矛盾的回答。当前版本包含5,620个真实多模态案例，覆盖64个临床科室，涵盖内科、外科、儿科、妇科等常见科室。
研究团队评估了19个通用型和医学专用型大语言模型，包括纯文本和多模态系统。评估采用的正面临床标准包括准确性、完整性、可解释性和同理心等维度；负面标准则包括不安全性、缺乏依据、自相矛盾等问题。结果表明，图像信息对可靠的临床表现至关重要。当模型无法获取图像时，其诊断准确率平均下降15%以上。而当前最先进的模型仍低于在线医生的回答质量。尽管一些前沿模型（如GPT-4o、Med-PaLM 2）在满足正面临床标准方面不逊于甚至超过医生，但它们触发了更多的负面标准，表明安全敏感的錯誤避免仍是核心瓶颈。例如，模型有时会给出错误的用药建议或忽视关键的阴性体征。
MedRealMM为评估多模态医学推理提供了一个真实且可重复的基准，相关数据集已在Hugging Face上公开。该基准有望推动LLM在医疗领域的安全部署，并促使研究者关注模型的安全性和可靠性。未来版本计划扩展更多科室和罕见病例，并引入多轮对话能力评估。