用於乳腺癌亞型分類與生存預測的令牌級跨模態Transformer與對比多任務學習
本研究提出了一種令牌級跨模態Transformer模型，結合對比多任務學習，用於整合基因組和臨牀數據，實現乳腺癌亞型分類與生存預測的聯合優化，克服了現有方法中模態交互粗糙、融合方式簡單、目標獨立優化等侷限。
精準腫瘤學中，整合異質性基因組與臨牀模態進行癌症亞型分類與生存預測聯合分析仍是一項關鍵挑戰。現有方法存在三大侷限：首先，它們將每種模態視為單一特徵向量，無法實現跨模態的細粒度令牌級交互；其次，跨模態融合通常採用線性加權或後期平均，而非結構化的令牌交換；最後，生存分析與分類目標獨立優化，缺乏聯合正則化信號。
針對這些問題，研究人員提出了一種令牌級跨模態Transformer模型，並引入對比多任務學習框架。該模型將基因組和臨牀數據分別編碼為令牌序列，通過跨模態注意力機制實現令牌間的直接交互，從而捕捉更豐富的模態間關聯。對比學習任務則用於增強模態表徵的判別性，同時多任務損失函數聯合優化亞型分類與生存預測，有效傳遞共享信息。
實驗結果表明，該方法在乳腺癌數據集上不僅提升了亞型分類的準確率，還顯著改善了生存預測的C-index。消融研究進一步驗證了令牌級交互與對比多任務學習的各自貢獻。整體而言，該工作為多模態醫學數據分析提供了新的範式，有望推動精準醫療的發展。