大型視覺語言模型（LVLM）在醫療領域展現出巨大潛力，但實際應用仍面臨多重障礙。高質量醫療多模態資料的稀缺、安全關鍵場景下模型魯棒性的不足，以及現有評估基準的狹窄性和潛在汙染問題，嚴重限制了該領域的可靠發展。為解決這些挑戰，研究團隊推出了 Aloe-Vision，一個完全開放且可復現的醫療 LVLM 系統。
Aloe-Vision 的核心創新在於 Aloe-Vision-Data 資料集。這是一個大規模、經過嚴格質量過濾的混合資料集，整合了醫學影像、臨床文本等醫療多模態資料，以及通用領域的多模態和純文本資源。該資料集設計用於直接微調模型，避免了傳統資料收集中的噪聲和偏差問題。基於此，團隊訓練了 Aloe-Vision 模型系列，包含 7B 和 72B 兩種引數規模，並全部開源——包括完整權重、訓練配方、資料以及詳細的復現指南。
透過全面的基準測試，研究人員證明，高質量的訓練資料混合能夠產生均衡的 LVLM。這些模型在通用能力不受影響的前提下，相比基線模型取得了顯著效能提升，甚至能夠與現有最先進模型競爭。例如，在醫療影像問答和報告生成任務上，Aloe-Vision 展現了出色的表現。
為了支援更可靠的評估，團隊還構建了 CareQA-Vision 基準。該基準源自西班牙 MIR 和 EIR 住院醫師考試，為醫學和護理專業提供新穎的視覺問題。由於考試內容定期更新且不公開，CareQA-Vision 大大降低了基準汙染的風險，為評價模型真實能力提供了更乾淨的測試環境。
然而，研究也揭示了當前 LVLM 的一個關鍵弱點：它們仍然容易受到對抗性和誤導性輸入的干擾。即使經過高質量訓練，模型在面對精心設計的對抗樣本時，輸出可能產生嚴重偏差。這凸顯了在臨床實踐中部署 LVLM 前必須解決的可靠性挑戰。
Aloe-Vision 的開源特性為社群提供了寶貴的資源，使得研究人員可以深入分析模型行為、復現結果並推動改進。該工作代表了醫療 AI 領域向開放科學和可信賴系統邁出的重要一步，但同時也提醒我們，在追求效能的同時，魯棒性和安全性研究不可忽視。