探索、融合與可信度：面向多模態癌症分析的基模型表示系統評估
本研究系統評估了基模型（FM）在計算病理學任務中的表示能力，使用兩個真實世界商業隊列（IH-BC和IH-NSCLC）進行測試。研究發現，圖像和組學表示具有互補的預測信號，多模態融合在單一模態不佔主導時能帶來提升。通過共形預測評估了管道可信度，結果表明大多數預測失敗時真實診斷仍在預測集中，強調了不確定性感知推理在臨牀支持中的價值。
近年來，基模型（Foundation Models, FMs）在醫學數據分析中展現出強大的表示提取能力，但其在數據分佈偏移下的泛化性能尚未被充分探索。近日，一項發表於arXiv的研究（論文編號：2606.17115）系統評估了FM表示在計算病理學任務上的表現，利用兩個真實世界商業隊列——IH-BC（乳腺癌）和IH-NSCLC（非小細胞肺癌），這些數據來自授權的內部（IH）腫瘤數據集。研究聚焦於兩種模態：全切片圖像和轉錄組圖譜，均為IH多模態數據的一部分。
研究團隊首先在五個FM上對八項下游分類任務進行了單模態探測性能基準測試，發現圖像和組學表示攜帶互補的預測信號。隨後，他們通過三種基於配對錶示的圖像-組學融合策略，探討多模態融合是否能在單模態基線之上帶來額外增益。結果顯示，FM表示在分佈外數據上具有競爭力，而多模態融合主要僅在單一模態無法主導信號時發揮作用。這意味着，當一種模態已經能夠提供足夠強的預測信號時，增加另一種模態並不會顯著改善性能；反之，當兩種模態各自攜帶部分但非全部信息時，融合才能互補優勢。
為了評估所選單模態和多模態管道的可信度，研究採用了共形預測方法。共形預測是一種不確定性量化技術，能夠生成預測集而非單一預測，並保證在給定置信水平下真實標籤以一定概率落入該集合。結果表明，在大多數點預測失敗的案例中，真實診斷仍可在預測集內被恢復，這強化了不確定性感知推理在臨牀支持中的價值。該研究為基模型在臨牀決策支持中的可靠應用提供了重要見解，並突顯了不確定性量化在提高診斷透明度方面的潛力。此外，研究還探討了不同FM架構對錶示質量和融合效果的影響，為未來計算病理學中模型選型和多模態系統設計提供了實用指導。總體而言，這項研究推動了基模型在醫學影像與基因組學融合分析中的可信應用，為精準醫療的發展奠定了更堅實的基礎。