跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

ClinicalBench:對MIMIC-IV跨入院臨床問答中斷言感知檢索的壓力測試

文章摘要

本文介紹了ClinicalBench,這是一個包含400個問題的基準測試,用於評估臨床問答中的斷言感知檢索。作者提出了EpiKG,一種患者知識圖譜,為每個事實附加斷言標籤和時間性標籤,並根據問題意圖引導檢索。實驗表明,與基線相比,該方法在多個指標上取得顯著提升。此外,醫師裁決發現56%的自動生成的參考答案存在缺陷,凸顯了人工稽核的必要性。

來源arXiv Computational Linguistics作者: Alex Stinard
ClinicalBench:對MIMIC-IV跨入院臨床問答中斷言感知檢索的壓力測試
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

臨床問答(QA)系統通常基於乾淨的輸入進行推理評估,但實際應用中,從電子健康記錄(EHR)筆記中檢索資訊時,否定、時間性和家族-患者歸屬等因素可能導致正確答案被誤判。為了解決這一問題,研究人員提出了EpiKG——一種斷言感知的知識圖譜,為每個事實附加斷言標籤和時間性標籤,並根據問題意圖進行檢索。同時,他們建立了ClinicalBench基準測試,對MIMIC-IV資料集中的43名患者提出400個問題,涵蓋9個斷言敏感類別。

研究團隊在6個大語言模型(LLM)上進行了7種條件的消融實驗,包括Claude Opus 4.6、GPT-OSS 20B、MedGemma 27B、Gemma 4 31B、MedGemma 1.5 4B和Qwen 3.5 35B。三位醫師對100個配對專案進行了盲法裁決。作者盲法主要終點(由兩位外部醫師對50個一致嚴格專案進行評估)顯示,EpiKG相比基線提升22.0個百分點(95%置信區間[5.1,31.5],p=0.0192)。架構新穎性方面,意圖感知的知識圖譜檢索增強生成(KG-RAG)相對於Contriever密集RAG基線提升了8.84個百分點(p=0.00179),在理想意圖下提升12.43個百分點。敏感性分析結果方向一致:三位醫師多數裁決提升24.0個百分點,確定性關鍵詞可重複性代理提升39.5個百分點。

值得注意的是,隨著LLM基線效能提升,EpiKG帶來的增益逐漸減小(beta=-1.123,r=-0.921,p=0.009)。此外,醫師裁決發現56%的自動生成的參考答案存在缺陷,這一方法論發現表明,基於NLP管道的臨床QA基準必須經過醫師稽核才能使用。所有程式碼、基準測試和裁決資料均已公開。

展開要點與分析

文章情報

工程師進階

要點

  • ClinicalBench是一個包含400個問題的基準測試,涵蓋43名MIMIC-IV患者的9個斷言敏感類別。
  • EpiKG透過斷言標籤和時間性標籤構建患者知識圖譜,並根據問題意圖進行檢索。
  • 在作者盲法的主要終點上,EpiKG相比基線提升了22.0個百分點(p=0.0192)。
  • 醫師裁決發現56%的自動生成答案有缺陷,表明臨床QA基準需要人工稽核。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。