LLM4EHR：透過大型語言模型對齊臨床時間序列與醫療事件序列

近年來，臨床機器學習領域，特別是重症監護室（ICU）中的結果預測，已從定製監督模型轉向基礎模型，利用現代表示學習方法。現有研究常使用電子健康記錄（EHR）提供豐富的患者觀察資料來訓練臨床基礎模型，但未能充分探索臨床事件與時間序列之間的共享時間結構。這種侷限性可能導致基礎模型不夠魯棒和自適應，影響下游任務效能。

為解決這一問題，來自多個機構的研究人員（論文作者包括Jingteng Li等六人）提出了LLM4EHR，一種基於ICU EHR資料訓練的新型臨床基礎模型。該模型將領域適配的大語言模型（LLM）與Transformer時間序列編碼器相結合，透過時間對齊EHR事件和時間序列進行預訓練。具體而言，他們提出了一種正則化對比目標，以學習依賴於域適配LLM產生的事件嵌入的魯棒EHR時間序列表示。在方法上，LLM4EHR採用了一個預訓練的醫學領域大語言模型（如BioBERT或ClinicalBERT）作為事件編碼器，同時用Transformer編碼連續時間序列。透過對比學習，模型學習將時間序列片段與對應的事件表示對齊。消融實驗表明，LLM4EHR學習到的時間序列嵌入在多個下游臨床任務上取得了有競爭力的效能提升。在實驗部分，作者在MIMIC-III資料集上評估了模型在死亡率預測、住院時長預測等任務上的表現。結果顯示，LLM4EHR在大多數任務上超越了現有的單模態和時間對齊基線。此外，實證證明LLM4EHR學習到的時間序列嵌入具有可遷移性，可透過k-shot適應部署到新群體，即透過少量樣本微調即可適應新的醫院或患者群體，顯示出良好的泛化能力。

這些發現為構建更通用和高效的臨床基礎模型邁出了重要一步。未來，該模型有望應用於更廣泛的臨床場景，提升醫療決策的智慧化水平。論文於2026年7月16日提交至arXiv，目前正在等待同行評審。該研究不僅展示了LLM在臨床時間序列分析中的潛力，也為跨領域遷移學習提供了新思路。