在臨牀實踐中,經驗豐富的醫生通過不斷診治病例,不僅積累了疾病知識,還發展出區分相似病症的鑑別診斷能力。然而,當前的醫學視覺語言模型(VLM)缺乏這種動態學習能力——它們的參數編碼的是靜態知識,無法在診斷過程中隨經驗進化。針對這一侷限,來自多所機構的研究人員提出了MedExpMem,一種經驗記憶框架,旨在賦予基於VLM的診斷代理積累鑑別診斷專業知識的能力。
與檢索增強生成(RAG)方法不同,RAG僅檢索百科全書式的疾病描述,而MedExpMem則從代理自身的診斷失敗中學習,將辨別的經驗存儲為成對的鑑別筆記。這些筆記編碼了關鍵區分因子、可操作的決策規則以及推理錯誤模式。該框架的構建過程模仿了醫生的學習路徑,分為兩個階段:初始實踐階段暴露知識缺口,隨後通過反思性再診斷來深化理解。當遇到新病例時,代理會檢索經驗記憶來指導鑑別推理。
研究團隊在涵蓋11個亞專科的放射學基準上評估了MedExpMem。結果顯示,在不同模型和規模上,該方法均能帶來一致的準確率提升,最高達7.0%。通過分析實驗,研究人員還驗證了經驗的質量和魯棒性,證明MedExpMem是一種有競爭力的方法,能夠解決參數學習無法觸及的醫學適應性需求。該論文已被MICCAI 2026 Early Accept接收,並於2026年5月20日提交至arXiv。
MedExpMem的提出標誌着醫學人工智能在適應性和持續學習方面邁出了重要一步。傳統的遷移學習或微調雖然能調整模型參數,但無法捕捉臨牀實踐中累積的細微鑑別經驗。而MedExpMem通過顯式存儲和檢索經驗,使得模型能夠在面對新病例時,借鑑過去診斷錯誤的教訓,從而減少混淆。未來,該框架有望擴展到其他醫學影像領域,甚至結合多模態數據進一步提升診斷準確性。