大規模言語モデルを統合マルチモーダル学習器として臨床予測に活用
本研究では、電子健康記録中のマルチモーダルデータ（構造化測定値と自由テキストの臨床叙述）をすべて自然言語シーケンスに変換し、専用の融合アーキテクチャを必要とせずに事前学習済み言語モデルをエンドツーエンドで微調整する手法を提案。院内死亡率、移植片不全、救急トリアージの3つの臨床予測タスクで評価した結果、統一シリアル化アプローチはタスク固有のマルチモーダルベースラインに匹敵またはそれを上回り、臨床で使用されている勾配ブースティングモデルを凌駕し、システムの複雑さを大幅に低減した。
電子健康記録（EHR）には、自由テキストの臨床叙述と構造化された測定値（バイタルサイン、検査値、併存疾患など）が混在しています。しかし、現在の臨床予測システムのほとんどはタスク固有の融合アーキテクチャに依存しており、各モダリティに専用のエンコーダを割り当て、学習された組み合わせ機構で統合するため、新しいタスクや臨床環境ごとに再設計が必要で、複雑化が課題でした。複数の研究機関の研究者らは、よりシンプルな代替案を提案しました。それは、患者のすべてのデータをモダリティに関係なく単一の自然言語シーケンスに変換し、融合のためのアーキテクチャ変更を行わずに、事前学習済み言語モデルをエンドツーエンドで微調整するというものです。このアプローチは、MIMIC-IIIデータセットを用いた院内死亡率予測、ドイツの移植センターからの縦断的データを用いた移植片不全予測、救急車記録からの救急トリアージ分類という3つの臨床的に異なる予測タスクで評価されました。エンコーダベース（ModernBERT）とデコーダベース（Llama 3.1、Gemma、DeepSeek-R1-Qwen、Qwen3）の微調整モデルを、既存のマルチモーダルベースラインや、移植後患者管理に実際に使用されている勾配ブースティングモデル（移植片不全タスク）と比較しました。その結果、すべてのタスクにおいて、統一テキストシリアル化手法はタスク固有のマルチモーダルベースラインに匹敵またはそれを上回り、移植片不全予測では臨床展開されている勾配ブースティングシステムを凌駕しました。これらの結果は、独自の融合アーキテクチャを必要とせず、単一のシリアル化ベースのパラダイムがマルチモーダル臨床予測に十分であり、特殊設計のモデルに匹敵または凌駕する性能を発揮しながら、システムの複雑さを大幅に低減できることを示しています。本研究はAjay Madhavan Ravichandranら8名の著者により、2026年7月16日にarXivに提出されました（論文ID: 2607.15380）。この成果は、臨床予測システムの簡素化に重要な示唆を与え、大規模言語モデルの医療分野への応用を促進するものと期待されます。今後の研究では、さらに多様な臨床タスクや実環境での検証が求められるでしょう。