LLM4EHR：通过大型语言模型对齐临床时间序列与医疗事件序列

近年来，临床机器学习领域，特别是重症监护室（ICU）中的结果预测，已从定制监督模型转向基础模型，利用现代表示学习方法。现有研究常使用电子健康记录（EHR）提供丰富的患者观察数据来训练临床基础模型，但未能充分探索临床事件与时间序列之间的共享时间结构。这种局限性可能导致基础模型不够鲁棒和自适应，影响下游任务性能。

为解决这一问题，来自多个机构的研究人员（论文作者包括Jingteng Li等六人）提出了LLM4EHR，一种基于ICU EHR数据训练的新型临床基础模型。该模型将领域适配的大语言模型（LLM）与Transformer时间序列编码器相结合，通过时间对齐EHR事件和时间序列进行预训练。具体而言，他们提出了一种正则化对比目标，以学习依赖于域适配LLM产生的事件嵌入的鲁棒EHR时间序列表示。在方法上，LLM4EHR采用了一个预训练的医学领域大语言模型（如BioBERT或ClinicalBERT）作为事件编码器，同时用Transformer编码连续时间序列。通过对比学习，模型学习将时间序列片段与对应的事件表示对齐。消融实验表明，LLM4EHR学习到的时间序列嵌入在多个下游临床任务上取得了有竞争力的性能提升。在实验部分，作者在MIMIC-III数据集上评估了模型在死亡率预测、住院时长预测等任务上的表现。结果显示，LLM4EHR在大多数任务上超越了现有的单模态和时间对齐基线。此外，实证证明LLM4EHR学习到的时间序列嵌入具有可迁移性，可通过k-shot适应部署到新群体，即通过少量样本微调即可适应新的医院或患者群体，显示出良好的泛化能力。

这些发现为构建更通用和高效的临床基础模型迈出了重要一步。未来，该模型有望应用于更广泛的临床场景，提升医疗决策的智能化水平。论文于2026年7月16日提交至arXiv，目前正在等待同行评审。该研究不仅展示了LLM在临床时间序列分析中的潜力，也为跨领域迁移学习提供了新思路。