融合は万能ではない：イベント発生時間モデリングのためのクロスモーダル表現アライメント
本研究は、CT画像と縦断的EHRデータ間のクロスモーダル表現アライメントのためのファウンデーションモデル駆動フレームワークを導入し、肺塞栓症死亡率と心血管疾患転帰予測タスクにおいて4つの融合戦略を体系的に評価した。結果は、対比的多モーダル融合が最も一貫した改善をもたらす一方、タスク固有の融合戦略がロバストな一般化に重要であることを示している。
時間イベント（TTE）予測は、臨床マルチモーダルデータにおいてモダリティの不均衡と分布シフトの課題に直面しています。浙江大学のZhemin Zhang氏ら研究チームは、arXivプレプリントで、CT画像と縦断的電子健康記録（EHR）データ間のクロスモーダル表現アライメントのためのファウンデーションモデル駆動フレームワークを提案しました。このフレームワークは、ドメイン固有のファウンデーションモデルを使用してCTとEHRのモダリティを独立にエンコードし、4つの融合戦略（後期融合、対比的アライメント、クロスアテンション、共アテンション）を通じて共有潜在空間でアライメントします。
研究チームは、肺塞栓症（PE）死亡率と心血管疾患（CVD）転帰（主要心血管イベント、MACE）という2つの臨床的に異なるTTEタスクでフレームワークを評価しました。大規模マルチインスティテュートコホートを使用し、PEデータセットには3,099訓練サンプル、1,098内部テストサンプル、435外部テストサンプルが含まれ、CVDデータセットには2,951訓練サンプル、837内部テストサンプル、682外部テストサンプルが含まれていました。
実験結果は、モダリティの貢献が同等の場合、融合戦略が一貫して単一モダリティのベースラインよりも一致指数（C-index）を1.5〜5.4%向上させることを示しました。全体的に、対比的多モーダル融合、特にCLMBR表現と組み合わせた場合、PE死亡率予測において最も一貫した統計的にロバストな改善をもたらしました。MACE予測では、クロスアテンション（ワンホットエンコーディング）が内部テストで最高性能を達成し、画像誘導共アテンションが外部テストで最高性能を達成しました。
この研究は、TTE予測におけるモダリティ不均衡下での融合挙動の初の系統的分析を提供し、タスク認識型多モーダルアライメントをロバストな一般化とスケーラブルな臨床展開のための必要な設計原則として確立しました。このフレームワークは、臨床意思決定支援システムの開発に新たな視点を提供し、特定のタスク特性に応じて適切な融合戦略を選択する重要性を強調しています。