跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

融合并非一刀切:面向时间到事件建模的跨模态表示对齐

文章摘要

研究人员提出一个由基础模型驱动的框架,用于对齐CT影像与纵向电子健康记录(EHR)数据,并在两个临床时间到事件(TTE)任务上系统评估了四种融合策略。结果表明,当两种模态贡献相当时,融合能将一致性指数提升1.5%–5.4%;对比式融合在肺栓塞死亡率预测上表现最稳健,而不同任务的最优融合方式不同,说明需要任务感知的多模态对齐设计。

来源arXiv AI作者: Zhemin Zhang, Weijie Chen, David Le, Amara Tariq, Alex Wallace, Matthew Stib, Juan Maria Farina, Chadi Ayoub, Reza Arsanjani, Imon Banerjee
融合并非一刀切:面向时间到事件建模的跨模态表示对齐
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇题为《融合并非放之四海而皆准:面向时间-事件建模的跨模态表征对齐》(Fusion is not one-size-fits-all: Cross-Modal Representation Alignment for Time-to-Event Modeling)的论文于2026年6月13日提交至arXiv,编号为2606.15038,归类为人工智能(cs.AI),作者为Zhemin Zhang等共10人。论文聚焦多模态临床数据中的时间-事件(time-to-event,TTE)预测问题,指出模态不平衡与分布偏移使准确的TTE预测仍然困难,并提出一个由基础模型驱动的跨模态表征对齐框架,用于在CT影像与纵向电子健康记录(EHR)数据之间建立对齐,且设计目标是跨任务、跨机构泛化。

在方法上,CT与EHR两种模态分别使用各自领域的基础模型独立编码,再通过四种有原则的融合策略在共享潜空间中对齐:晚期融合(late fusion)、对比对齐(contrastive alignment)、交叉注意力(cross-attention)与共同注意力(co-attention)。这种“先独立编码、后对齐融合”的设计避免了在原始数据层面强行统一异构模态,也使框架可以复用已有的领域基础模型。

实验覆盖两项临床意义不同的TTE任务:肺栓塞(PE)死亡预测与心血管疾病(CVD)结局预测,均使用大规模多机构队列。PE队列的训练集为3,099例,内部验证集1,098例,外部验证集435例;CVD队列训练集2,951例,内部验证集837例,外部验证集682例。外部队列的引入使结果能够检验跨机构泛化能力,而不只停留在同分布评估。

结果显示,当两种模态贡献相当时,融合相比单模态基线可将一致性指数(concordance index)稳定提升1.5%至5.4%。总体而言,对比式多模态融合,尤其是采用CLMBR表征的方案,提供了最一致且统计上最稳健的改进,在PE死亡预测上尤为明显。对于MACE(主要不良心血管事件),交叉注意力(one-hot)取得最佳内部性能,而图像引导的共同注意力取得最佳外部性能。

作者据此提出一个可泛化的、基于基础模型的跨模态对齐框架,并称这是首次在TTE预测中系统分析模态不平衡条件下的融合行为。研究结论强调,任务感知的多模态对齐是稳健泛化与可扩展临床部署的必要设计原则——也就是说,并不存在适用于所有任务的单一融合方式,融合策略应随任务与模态贡献情况调整。

展开要点与分析

文章情报

工程师进阶

要点

  • 该框架用领域基础模型分别编码CT和EHR,再通过晚期融合、对比对齐、交叉注意力和共同注意力四种策略在共享隐空间中对齐。
  • 在肺栓塞死亡率和心血管疾病结局两个TTE任务、多机构大规模队列上,融合比单模态基线提升一致性指数1.5–5.4%。
  • 对比式多模态融合(尤其使用CLMBR表示)在肺栓塞死亡率预测上提升最一致、统计上最稳健;MACE任务内部性能最佳为交叉注意力(one-hot),外部性能最佳为图像引导的共同注意力。
  • 研究首次系统分析了模态不平衡下的融合行为,提出任务感知的多模态对齐是稳健泛化和可扩展临床部署的必要设计原则。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。