大語言模型（LLM）在在線醫療諮詢中的應用日益增多，但現有基準往往與真實臨牀實踐脱節。許多基準依賴合成對話或患者模擬器，忽略了患者上傳的醫學圖像，或使用多項選擇或詞彙重疊指標評估開放式臨牀回答，難以反映臨牀質量。為此，研究人員推出了MedRealMM，一個基於中國全國性互聯網醫院脱敏醫患交互數據構建的大規模多模態基準。
MedRealMM採用多模態臨牀挑戰點（MCCP）提取框架，從真實的諮詢軌跡中識別臨牀關鍵時刻，並將每個時刻轉化為標準化的下一回答生成任務，同時保留前序文本和圖像上下文。每個實例都配有由醫生優化的案例特定評分標準，獎勵臨牀理想行為並懲罰不安全、無依據或矛盾的回答。當前版本包含5,620個真實多模態案例，覆蓋64個臨牀科室，涵蓋內科、外科、兒科、婦科等常見科室。
研究團隊評估了19個通用型和醫學專用型大語言模型，包括純文本和多模態系統。評估採用的正面臨牀標準包括準確性、完整性、可解釋性和同理心等維度；負面標準則包括不安全性、缺乏依據、自相矛盾等問題。結果表明，圖像信息對可靠的臨牀表現至關重要。當模型無法獲取圖像時，其診斷準確率平均下降15%以上。而當前最先進的模型仍低於在線醫生的回答質量。儘管一些前沿模型（如GPT-4o、Med-PaLM 2）在滿足正面臨牀標準方面不遜於甚至超過醫生，但它們觸發了更多的負面標準，表明安全敏感的錯誤避免仍是核心瓶頸。例如，模型有時會給出錯誤的用藥建議或忽視關鍵的陰性體徵。
MedRealMM為評估多模態醫學推理提供了一個真實且可重複的基準，相關數據集已在Hugging Face上公開。該基準有望推動LLM在醫療領域的安全部署，並促使研究者關注模型的安全性和可靠性。未來版本計劃擴展更多科室和罕見病例，並引入多輪對話能力評估。