跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

CLIR-Bench:面向不規則臨牀時間序列的多模態問答基準

文章摘要

CLIR-Bench是一個專門用於評估模型在不規則臨牀時間序列上進行問答能力的基準。它基於去標識化的ICU記錄構建,包含6,600個問答實例,覆蓋11個臨牀變量,分為4個能力維度和11個任務。實驗表明,現有通用模型難以從稀疏數據中檢索和推理證據,凸顯了加強不規則時間序列推理方法的必要性。

來源arXiv Computational Linguistics作者: Frank Nie, Ethan B. Liu, Yuan Zhu, Loe Yan, Wei Fan, Jindong Han
CLIR-Bench:面向不規則臨牀時間序列的多模態問答基準
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

臨牀時間序列數據在患者監測、風險評估和臨牀決策支持中起着核心作用。然而,這些數據往往存在稀疏、採樣不規則以及異步等問題,使得模型難以識別臨牀問答所需的時間證據。現有的基準測試主要集中於規則採樣的時間序列問答或基於靜態數據的醫學問答,很少評估模型能否基於不規則的時間觀測來忠實回答。為了填補這一空白,研究人員提出了CLIR-Bench,這是一個專門用於不規則臨牀時間序列問答的基準測試。該基準通過一個原則性的四階段流程,從去標識化的ICU記錄中構建而成,確保了數據的真實性和代表性。

CLIR-Bench包含6,600個問答實例,涵蓋了11個臨牀變量,包括心率、血壓、呼吸頻率等關鍵指標。這些實例按照4個能力維度進行組織:時間推理、多變量整合、數值比較和模式識別,並進一步細分為11個具體的任務,例如趨勢判斷、異常檢測和事件預測。每個問題都關聯到明確的時間證據和任務特定的答案推導規則,從而能夠同時評估答案的準確性和證據的使用情況。這種設計使得CLIR-Bench不僅關注最終答案,還強調模型是否基於正確的臨牀觀察進行推理。

實驗結果表明,現有的通用模型在檢索和推理稀疏臨牀證據方面存在顯著困難。例如,GPT-4等大型語言模型在處理不規則採樣的時間序列時,往往無法準確識別關鍵時間點或整合多個變量之間的關係。這凸顯了開發更強大的不規則時間序列推理方法的必要性,尤其是在臨牀場景中,數據的不規則性是常態而非例外。

該基準的代碼和數據已在Hugging Face上公開,研究人員可以通過https://huggingface.co/datasets/winall/CLIR-Bench獲取,並用於模型評估和比較。這項工作為臨牀AI領域提供了一個重要的評估工具,有望推動更可靠的不規則時序推理技術的發展。論文由Frank Nie等六位作者共同完成,於2026年7月10日提交至arXiv,編號為2607.09880,目前正在接受同行評審。CLIR-Bench的發佈填補了現有基準在 irregular 臨牀時間序列問答方面的空白,為未來研究提供了堅實的基礎。

展開要點與分析

文章情報

投資人進階

要點

  • CLIR-Bench包含6,600個問答實例,涵蓋11個臨牀變量和11個任務。
  • 該基準專注於不規則採樣的臨牀時間序列問答,填補了現有基準的空白。
  • 每個問題都鏈接到明確的時間證據和答案推導規則。
  • 實驗顯示通用模型在稀疏臨牀證據上的檢索和推理能力不足。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。