臨牀時間序列數據在患者監測、風險評估和臨牀決策支持中起着核心作用。然而,這些數據往往存在稀疏、採樣不規則以及異步等問題,使得模型難以識別臨牀問答所需的時間證據。現有的基準測試主要集中於規則採樣的時間序列問答或基於靜態數據的醫學問答,很少評估模型能否基於不規則的時間觀測來忠實回答。為了填補這一空白,研究人員提出了CLIR-Bench,這是一個專門用於不規則臨牀時間序列問答的基準測試。該基準通過一個原則性的四階段流程,從去標識化的ICU記錄中構建而成,確保了數據的真實性和代表性。
CLIR-Bench包含6,600個問答實例,涵蓋了11個臨牀變量,包括心率、血壓、呼吸頻率等關鍵指標。這些實例按照4個能力維度進行組織:時間推理、多變量整合、數值比較和模式識別,並進一步細分為11個具體的任務,例如趨勢判斷、異常檢測和事件預測。每個問題都關聯到明確的時間證據和任務特定的答案推導規則,從而能夠同時評估答案的準確性和證據的使用情況。這種設計使得CLIR-Bench不僅關注最終答案,還強調模型是否基於正確的臨牀觀察進行推理。
實驗結果表明,現有的通用模型在檢索和推理稀疏臨牀證據方面存在顯著困難。例如,GPT-4等大型語言模型在處理不規則採樣的時間序列時,往往無法準確識別關鍵時間點或整合多個變量之間的關係。這凸顯了開發更強大的不規則時間序列推理方法的必要性,尤其是在臨牀場景中,數據的不規則性是常態而非例外。
該基準的代碼和數據已在Hugging Face上公開,研究人員可以通過https://huggingface.co/datasets/winall/CLIR-Bench獲取,並用於模型評估和比較。這項工作為臨牀AI領域提供了一個重要的評估工具,有望推動更可靠的不規則時序推理技術的發展。論文由Frank Nie等六位作者共同完成,於2026年7月10日提交至arXiv,編號為2607.09880,目前正在接受同行評審。CLIR-Bench的發佈填補了現有基準在 irregular 臨牀時間序列問答方面的空白,為未來研究提供了堅實的基礎。