RareDxR1:超越人工標註的罕見病自主醫療推理
RareDxR1是一種端到端的推理中心型大語言模型,可直接從非結構化臨床筆記中進行開放域罕見病診斷。它透過知識內化和自主進化學習,繞過傳統基於流水線的表型提取或檢索增強生成方法的侷限,並採用反思增強推理取樣和雙級課程強化學習來提升診斷準確性。實驗表明,RareDxR1在多個基準測試中達到了最先進的水平。
近日,研究人員提出了一種名為RareDxR1的新型大語言模型,旨在直接根據非結構化臨床筆記進行罕見病的開放域診斷。罕見病的鑑別診斷是一項艱鉅的臨床任務,需要醫生從複雜、非結構化的患者症狀中識別出精確的表型,並在龐大的搜尋空間中進行復雜的推理。然而,現有的AI方法通常依賴於基於流水線的表型提取或檢索增強生成(RAG),這些方法由於預定義本體、檢索瓶頸和缺乏診斷邏輯而導致關鍵資訊丟失。
為了應對這些挑戰,RareDxR1採用了一種端到端的訓練框架,透過協同知識內化和自主進化學習,繞過了對結構化表型和封閉集決策的依賴。該模型將零散的罕見病知識直接深度內化到模型引數中,從而克服了RAG和表型限制。研究團隊設計了一種漸進式訓練流程,首先透過知識內化使模型掌握海量罕見病知識,然後透過自主進化學習讓模型在模擬診斷環境中不斷自我改進。這種雙階段策略使得模型能夠從失敗中學習,逐步提升診斷能力。
此外,為了彌合模型生成與專家推理之間的差距,研究團隊提出了反思增強推理取樣(RERS)策略。該策略透過從失敗中學習來合成專家級的診斷軌跡,且無需人工標註。具體來說,RERS首先讓模型對病例進行初步診斷,然後對比正確結果,分析錯誤原因,並生成包含反思過程的診斷軌跡。這些軌跡隨後被用於強化學習,使模型能夠模仿專家的推理過程。同時,還引入了一種雙級課程強化學習方法,用於逐步掌握罕見病診斷:第一級課程聚焦於常見罕見病的識別,第二級課程則挑戰更罕見、更復雜的病例。
實驗結果顯示,RareDxR1在多個基準測試中達到了最先進的準確率,包括在DDXPlus、RareDis和CustomRare等資料集上的評估。與傳統的RAG方法和基於表型提取的模型相比,RareDxR1在診斷準確性上提升了顯著幅度,特別是在處理非結構化文本和罕見病例時表現出色。這一成果標誌著開放域罕見病診斷領域的一項重大突破,證明了無需人工標註、直接從臨床筆記中學習診斷推理的可行性。研究團隊表示,他們的程式碼和資料集將公開發布,以促進該領域的進一步研究。該論文已被2026年IEEE國際多媒體與博覽會(ICME)接收。