探索、融合与可信度：面向多模态癌症分析的基模型表示系统评估
本研究系统评估了基模型（FM）在计算病理学任务中的表示能力，使用两个真实世界商业队列（IH-BC和IH-NSCLC）进行测试。研究发现，图像和组学表示具有互补的预测信号，多模态融合在单一模态不占主导时能带来提升。通过共形预测评估了管道可信度，结果表明大多数预测失败时真实诊断仍在预测集中，强调了不确定性感知推理在临床支持中的价值。
近年来，基模型（Foundation Models, FMs）在医学数据分析中展现出强大的表示提取能力，但其在数据分布偏移下的泛化性能尚未被充分探索。近日，一项发表于arXiv的研究（论文编号：2606.17115）系统评估了FM表示在计算病理学任务上的表现，利用两个真实世界商业队列——IH-BC（乳腺癌）和IH-NSCLC（非小细胞肺癌），这些数据来自授权的内部（IH）肿瘤数据集。研究聚焦于两种模态：全切片图像和转录组图谱，均为IH多模态数据的一部分。
研究团队首先在五个FM上对八项下游分类任务进行了单模态探测性能基准测试，发现图像和组学表示携带互补的预测信号。随后，他们通过三种基于配对表示的图像-组学融合策略，探讨多模态融合是否能在单模态基线之上带来额外增益。结果显示，FM表示在分布外数据上具有竞争力，而多模态融合主要仅在单一模态无法主导信号时发挥作用。这意味着，当一种模态已经能够提供足够强的预测信号时，增加另一种模态并不会显著改善性能；反之，当两种模态各自携带部分但非全部信息时，融合才能互补优势。
为了评估所选单模态和多模态管道的可信度，研究采用了共形预测方法。共形预测是一种不确定性量化技术，能够生成预测集而非单一预测，并保证在给定置信水平下真实标签以一定概率落入该集合。结果表明，在大多数点预测失败的案例中，真实诊断仍可在预测集内被恢复，这强化了不确定性感知推理在临床支持中的价值。该研究为基模型在临床决策支持中的可靠应用提供了重要见解，并突显了不确定性量化在提高诊断透明度方面的潜力。此外，研究还探讨了不同FM架构对表示质量和融合效果的影响，为未来计算病理学中模型选型和多模态系统设计提供了实用指导。总体而言，这项研究推动了基模型在医学影像与基因组学融合分析中的可信应用，为精准医疗的发展奠定了更坚实的基础。