LLM4EHR：大規模言語モデルを用いた臨床時系列と医療イベントシーケンスのアラインメント

近年、臨床機械学習、特に集中治療室（ICU）における転帰予測は、特化型教師ありモデルから基盤モデルへとシフトしており、現代の表現学習手法が活用されています。既存の研究では、電子健康記録（EHR）から得られる豊富で多様な患者観測データを用いて臨床基盤モデルを訓練することが多いですが、臨床イベントと時系列観測の間の共有時間構造を十分に探索できていません。この制限により、基盤モデルの頑健性と適応性が低下し、下流タスクの性能が損なわれる可能性があります。

この問題に対処するため、研究者ら（Jingteng Li氏を含む6名の著者）はICUのEHRデータで訓練された新しい臨床基盤モデルLLM4EHRを提案しました。このモデルは、ドメイン適応された大規模言語モデル（LLM）とTransformer時系列エンコーダを組み合わせ、EHRイベントと時系列を時間的に整列させて事前学習します。具体的には、正則化された対照学習目的を用いて、ドメイン適応LLMが生成するイベント埋め込みに条件付けられた頑健なEHR時系列表現を学習します。手法として、LLM4EHRは事前学習済みの医学ドメイン大規模言語モデル（BioBERTやClinicalBERTなど）をイベントエンコーダとして採用し、Transformerで連続時系列をエンコードします。対照学習により、モデルは時系列セグメントを対応するイベント表現に整列させることを学習します。アブレーション研究により、LLM4EHRから学習された時系列埋め込みが、複数の下流臨床タスクで競争力のある性能向上をもたらすことが示されました。実験では、MIMIC-IIIデータセットを用いて死亡率予測や入院期間予測などのタスクで評価し、LLM4EHRがほとんどのタスクで既存の単一モーダルおよび時間的整列ベースラインを上回る結果を示しました。さらに、LLM4EHRはkショット適応によって新しいコホートに展開可能な転移可能な時系列埋め込みを学習することを実証しており、少数サンプルの微調整で新しい病院や患者集団に適応できることが確認されました。

これらの発見は、より汎用的で高性能な臨床基盤モデルの構築に向けた一歩となります。将来的には、より広範な臨床シナリオへの応用が期待され、医療意思決定の高度化に貢献するでしょう。本論文は2026年7月16日にarXivに提出され、現在ピアレビュー待ちです。この研究は、臨床時系列分析におけるLLMの可能性を示すとともに、分野横断的な転移学習に新たな視点を提供しています。