大語言模型（LLM）在線上醫療諮詢中的應用日益增多，但現有基準往往與真實臨床實踐脫節。許多基準依賴合成對話或患者模擬器，忽略了患者上傳的醫學影像，或使用多項選擇或詞彙重疊指標評估開放式臨床回答，難以反映臨床質量。為此，研究人員推出了MedRealMM，一個基於中國全國性網際網路醫院脫敏醫患互動資料構建的大規模多模態基準。
MedRealMM採用多模態臨床挑戰點（MCCP）提取框架，從真實的諮詢軌跡中識別臨床關鍵時刻，並將每個時刻轉化為標準化的下一回答生成任務，同時保留前序文本和影像上下文。每個例項都配有由醫生最佳化的案例特定評分標準，獎勵臨床理想行為並懲罰不安全、無依據或矛盾的回答。當前版本包含5,620個真實多模態案例，覆蓋64個臨床科室，涵蓋內科、外科、兒科、婦科等常見科室。
研究團隊評估了19個通用型和醫學專用型大語言模型，包括純文本和多模態系統。評估採用的正面臨床標準包括準確性、完整性、可解釋性和同理心等維度；負面標準則包括不安全性、缺乏依據、自相矛盾等問題。結果表明，影像資訊對可靠的臨床表現至關重要。當模型無法獲取影像時，其診斷準確率平均下降15%以上。而當前最先進的模型仍低於線上醫生的回答質量。儘管一些前沿模型（如GPT-4o、Med-PaLM 2）在滿足正面臨床標準方面不遜於甚至超過醫生，但它們觸發了更多的負面標準，表明安全敏感的錯誤避免仍是核心瓶頸。例如，模型有時會給出錯誤的用藥建議或忽視關鍵的陰性體徵。
MedRealMM為評估多模態醫學推理提供了一個真實且可重複的基準，相關資料集已在Hugging Face上公開。該基準有望推動LLM在醫療領域的安全部署，並促使研究者關注模型的安全性和可靠性。未來版本計劃擴充套件更多科室和罕見病例，並引入多輪對話能力評估。