一項新的研究通過真實世界的皮膚科諮詢數據，對多模態大語言模型（MLLMs）在臨牀環境中的表現進行了評估，結果顯示這些模型的基準測試成績顯著高估了其實際臨牀能力。該研究由Roy Jiang等11位作者完成，預印本發表於arXiv。
研究人員評估了四種開放權重模型（InternVL-Chat v1.5、LLaVA-Med v1.5、SkinGPT4和MedGemma-4B-Instruct）以及商業模型GPT-4.1。他們使用了三個公開皮膚科數據集和一個回顧性多中心醫院皮膚科諮詢隊列，該隊列包含5,811個病例和46,405張臨牀圖像。模型在兩項臨牀相關任務上接受了測試：鑑別診斷生成和基於嚴重程度的分診。
在公開基準測試中，開放權重模型的最佳top-3診斷準確率僅為26.55%，而GPT-4.1達到了42.25%。然而，在真實世界的諮詢病例中，當僅使用圖像時，開放權重模型的top-3準確率驟降至1.50%至13.35%，GPT-4.1也下降至24.65%。當加入臨牀背景信息（如患者病史）後，所有模型的性能均有所提升：開放權重模型的最佳準確率提高到28.75%，GPT-4.1提高到38.93%。但研究也發現，模型對不完整或錯誤的臨牀背景高度敏感，即使微小的錯誤也可能導致診斷結果大幅偏離。
在基於嚴重程度的分診任務中，模型的敏感性超過了60%，表明其具有作為篩查工具的潛力，但研究人員認為其可靠性仍不足以支持臨牀部署。本研究強調了在真實世界條件下評估AI模型的重要性，並指出當前MLLMs在皮膚科領域的實際能力遠低於基準測試所暗示的水平。
這項研究的結果引發了人們對AI在醫療領域應用前景的思考。儘管MLLMs在標準化的基準測試中表現尚可，但一旦進入複雜的臨牀環境，其性能就會大打折扣。這提醒我們，在將AI技術轉化為臨牀應用之前，必須進行嚴格且貼近實際場景的驗證。研究人員呼籲未來研究應更多地關注模型的魯棒性、可解釋性以及如何更好地整合臨牀背景信息，以提高其在實際醫療決策中的可靠性。