醫學基礎模型(MedFMs)正迅速成為醫療領域的變革性工具,展現出在多種臨牀應用中超越傳統方法的潛力。這些模型大致可以分為兩個主要的範式:醫學視覺語言模型(Med-VLMs)和分割基礎模型。Med-VLMs的範疇涵蓋了從專門為醫學影像設計的模型,如LLaVA-Med和MedGemma,到通用大型語言模型如GPT-4o和Gemini,這些模型能夠執行一系列醫學圖像理解任務,包括視覺問答(VQA)、自動報告生成和視覺定位。例如,醫生可以藉助這些模型快速解讀影像並生成診斷建議。另一方面,分割基礎模型以Segment Anything Model(SAM)為基礎,通過針對醫學領域的適配,產生了如SAM-Med2D和MedSAM等專業版本,能夠精確分割器官或病變區域。這些模型在研究和臨牀輔助中展現了巨大價值。然而,現階段大多數模型在標準公開數據集上表現優異,但在真實的臨牀環境中,它們可能遇到各種挑戰,例如不同的成像設備、掃描參數、患者體位、噪聲水平、偽影以及數據分佈的偏移等。這些因素可能導致模型性能大幅下降,甚至產生錯誤的輸出,從而危及患者安全。因此,在將MedFMs部署到臨牀使用之前,對其魯棒性進行系統、嚴格的評估是不可或缺的。正是為了應對這一需求,來自多機構的研究團隊提出了MedFM-Robust基準測試框架。該基準測試專門設計用於評估醫學基礎模型在真實世界條件下的可靠性和穩定性。MedFM-Robust包含多個評估維度,涵蓋圖像質量退化、域遷移、對抗性攻擊等多種典型干擾場景。通過標準化的評估協議,該基準能夠量化模型在不同程度的干擾下性能下降的幅度,使得不同模型之間的比較成為可能。研究團隊利用該基準對多種主流MedFMs進行了初步評估,揭示了當前模型在魯棒性方面的不足。該工作已正式被MICCAI 2026接收,作為論文發表於計算機視覺與模式識別領域。論文由Xiangxiang Cui與其他四位合作者共同完成,於2026年5月18日提交至arXiv預印本平台,論文編號為2605.19027。這一基準的建立不僅為學術研究提供了標準化的評估工具,也為醫療人工智能產品的開發者和監管者提供了重要的參考。隨着MedFMs逐步走向臨牀應用,MedFM-Robust有望成為推動該領域安全、可靠發展的關鍵里程碑。
MedFM-Robust:醫學基礎模型魯棒性基準測試
文章摘要
MedFM-Robust是一個新的基準測試框架,用於評估醫學基礎模型在真實世界條件下的魯棒性,涵蓋醫學視覺語言模型和分割基礎模型。
MedFM-Robust:醫學基礎模型魯棒性基準測試