用于乳腺癌亚型分类与生存预测的令牌级跨模态Transformer与对比多任务学习
本研究提出了一种令牌级跨模态Transformer模型，结合对比多任务学习，用于整合基因组和临床数据，实现乳腺癌亚型分类与生存预测的联合优化，克服了现有方法中模态交互粗糙、融合方式简单、目标独立优化等局限。
精准肿瘤学中，整合异质性基因组与临床模态进行癌症亚型分类与生存预测联合分析仍是一项关键挑战。现有方法存在三大局限：首先，它们将每种模态视为单一特征向量，无法实现跨模态的细粒度令牌级交互；其次，跨模态融合通常采用线性加权或后期平均，而非结构化的令牌交换；最后，生存分析与分类目标独立优化，缺乏联合正则化信号。
针对这些问题，研究人员提出了一种令牌级跨模态Transformer模型，并引入对比多任务学习框架。该模型将基因组和临床数据分别编码为令牌序列，通过跨模态注意力机制实现令牌间的直接交互，从而捕捉更丰富的模态间关联。对比学习任务则用于增强模态表征的判别性，同时多任务损失函数联合优化亚型分类与生存预测，有效传递共享信息。
实验结果表明，该方法在乳腺癌数据集上不仅提升了亚型分类的准确率，还显著改善了生存预测的C-index。消融研究进一步验证了令牌级交互与对比多任务学习的各自贡献。整体而言，该工作为多模态医学数据分析提供了新的范式，有望推动精准医疗的发展。