當病例變得罕見：針對非指南臨牀問答的檢索基準
該研究提出了OGCaReBench，一個專注於檢索的基準測試，用於評估大型語言模型在回答超出典型指南範圍的臨牀問題時的表現。實驗表明，即使是最先進的模型（GPT-5.2）也僅有56%的準確率，而通過檢索相關醫學文獻可提升至82%，強調了證據基礎推理在真實醫療場景中的重要性。
在臨牀醫學中，診療實踐高度依賴循證指南，這些指南匯總了大量經過驗證的診斷和治療路徑。然而，現實世界中存在大量罕見病例或非典型表現，這些病例並不在指南覆蓋範圍之內。當前的大型語言模型（LLM）主要被訓練來記憶常見且以指南為中心的醫學知識，而現有評估基準也多采用選擇題形式測試模型對記憶內容的回憶能力。這種依賴記憶的方法在醫學這一需嚴謹循證的領域既不現實也不可靠。為彌補這一空缺，研究人員提出了OGCaReBench（Off-Guideline Clinical Retrieval Benchmark），一個專注於檢索增強的開放式臨牀問答基準。OGCaReBench從已發表的醫學病例報告中提取問題，並經醫學專家驗證，形成一系列需要自由文本回答的長篇臨牀問題，系統評估LLM在罕見病例場景下的開放式醫學推理能力。
實驗結果顯示，即使是表現最好的基線模型GPT-5.2，也僅能正確回答56%的基準問題，而專門為醫學設計的模型表現更差，正確率僅為42%。但通過檢索相關醫學文獻來增強模型，GPT-5.2的正確率可大幅提升至82%。這一結果充分證明了在現實醫學推理任務中，基於外部證據的推理（而非單純依賴參數記憶）具有關鍵作用。OGCaReBench的發佈為評估和改進通用及醫療專用LLM在複雜臨牀環境中的可靠性奠定了基礎，未來有望推動模型超越死記硬背，真正實現循證醫學實踐。該工作還提供了詳細的基準框架，包括34頁論文和20幅圖表，為後續研究提供了豐富的資源。
隨着人工智能在醫療領域的滲透，評估模型在真實臨牀場景下的表現變得至關重要。OGCaReBench不僅填補了當前缺乏針對非指南臨牀問答的基準的空白，還揭示了即使在頂尖模型中也存在的顯著性能差距。這一發現對醫療AI開發具有重要指導意義，強調了在應用中必須整合外部知識檢索機制。此外，該基準的開放式設計更貼近臨牀實際，為醫生和研究者提供更可靠的評估工具。未來，結合更大的病例庫和更先進的檢索技術，OGCaReBench有望成為醫療LLM評估的標準工具，推動模型在罕見病和複雜病例中的推理能力發展。