一项新的研究通过真实世界的皮肤科咨询数据，对多模态大语言模型（MLLMs）在临床环境中的表现进行了评估，结果显示这些模型的基准测试成绩显著高估了其实际临床能力。该研究由Roy Jiang等11位作者完成，预印本发表于arXiv。
研究人员评估了四种开放权重模型（InternVL-Chat v1.5、LLaVA-Med v1.5、SkinGPT4和MedGemma-4B-Instruct）以及商业模型GPT-4.1。他们使用了三个公开皮肤科数据集和一个回顾性多中心医院皮肤科咨询队列，该队列包含5,811个病例和46,405张临床图像。模型在两项临床相关任务上接受了测试：鉴别诊断生成和基于严重程度的分诊。
在公开基准测试中，开放权重模型的最佳top-3诊断准确率仅为26.55%，而GPT-4.1达到了42.25%。然而，在真实世界的咨询病例中，当仅使用图像时，开放权重模型的top-3准确率骤降至1.50%至13.35%，GPT-4.1也下降至24.65%。当加入临床背景信息（如患者病史）后，所有模型的性能均有所提升：开放权重模型的最佳准确率提高到28.75%，GPT-4.1提高到38.93%。但研究也发现，模型对不完整或错误的临床背景高度敏感，即使微小的错误也可能导致诊断结果大幅偏离。
在基于严重程度的分诊任务中，模型的敏感性超过了60%，表明其具有作为筛查工具的潜力，但研究人员认为其可靠性仍不足以支持临床部署。本研究强调了在真实世界条件下评估AI模型的重要性，并指出当前MLLMs在皮肤科领域的实际能力远低于基准测试所暗示的水平。
这项研究的结果引发了人们对AI在医疗领域应用前景的思考。尽管MLLMs在标准化的基准测试中表现尚可，但一旦进入复杂的临床环境，其性能就会大打折扣。这提醒我们，在将AI技术转化为临床应用之前，必须进行严格且贴近实际场景的验证。研究人员呼吁未来研究应更多地关注模型的鲁棒性、可解释性以及如何更好地整合临床背景信息，以提高其在实际医疗决策中的可靠性。