用於乳腺癌亞型分類與生存預測的令牌級跨模態Transformer與對比多工學習
本研究提出了一種令牌級跨模態Transformer模型，結合對比多工學習，用於整合基因組和臨床資料，實現乳腺癌亞型分類與生存預測的聯合最佳化，克服了現有方法中模態互動粗糙、融合方式簡單、目標獨立最佳化等侷限。
精準腫瘤學中，整合異質性基因組與臨床模態進行癌症亞型分類與生存預測聯合分析仍是一項關鍵挑戰。現有方法存在三大侷限：首先，它們將每種模態視為單一特徵向量，無法實現跨模態的細粒度令牌級互動；其次，跨模態融合通常採用線性加權或後期平均，而非結構化的令牌交換；最後，生存分析與分類目標獨立最佳化，缺乏聯合正則化訊號。
針對這些問題，研究人員提出了一種令牌級跨模態Transformer模型，並引入對比多工學習框架。該模型將基因組和臨床資料分別編碼為令牌序列，透過跨模態注意力機制實現令牌間的直接互動，從而捕捉更豐富的模態間關聯。對比學習任務則用於增強模態表徵的判別性，同時多工損失函式聯合最佳化亞型分類與生存預測，有效傳遞共享資訊。
實驗結果表明，該方法在乳腺癌資料集上不僅提升了亞型分類的準確率，還顯著改善了生存預測的C-index。消融研究進一步驗證了令牌級互動與對比多工學習的各自貢獻。整體而言，該工作為多模態醫學資料分析提供了新的正規化，有望推動精準醫療的發展。