这篇题为《探针、融合与可信度:面向多模态癌症分析的基础模型表征系统性评估》的论文于2026年6月15日提交至arXiv,作者为Jingyu Hu等共五位研究者。论文编号为arXiv:2606.17115,归类于机器学习(cs.LG),并交叉涉及人工智能(cs.AI)与定量方法(q-bio.QM)领域,由Tapabrata Chakraborti提交。研究聚焦于一个在医学人工智能中日益关键却仍缺乏系统检验的问题:基础模型作为医学数据表征提取器虽已展现出强大能力,但当数据分布发生偏移时,其泛化性究竟如何,目前仍缺乏充分探索。
为回答这一问题,作者在真实世界商业队列上展开系统性评估。研究所用数据来自获得授权的内部肿瘤学数据集(in-house oncology dataset,简称IH),并选取两个队列:IH-BC与IH-NSCLC。分析涉及两种模态,即全切片图像(whole-slide images)与转录组图谱(transcriptomic profiles),二者均取自IH多模态数据。这样的设计使研究能够在贴近临床实际的商业数据环境中考察基础模型表征的表现,而非仅依赖受控的实验数据集。
研究首先进行单模态探针评估。作者在八个下游分类任务上,对五种基础模型所提取的表征进行基准测试。结果显示,图像表征与组学表征携带互补的预测信号,说明单一模态难以完整覆盖诊断所需信息。随后,研究进一步考察多模态融合能否在单模态基线之上带来额外收益,并基于配对表征比较了三种图像—组学融合策略。
在可信度方面,作者采用保形预测(conformal prediction)对选定的单模态与多模态流程进行评估。结果表明,基础模型表征在分布外数据上仍能取得有竞争力的性能;多模态融合主要在没有单一模态占据信号主导地位时带来帮助。保形预测进一步揭示,在大多数点预测失败的案例中,真实诊断仍可落在预测集合之内,这凸显了不确定性感知推断在临床辅助决策中的价值。
整体而言,该研究不仅对基础模型在计算病理学任务中的表征能力进行了横向比较,也把融合策略与不确定性量化纳入统一评估框架,为多模态癌症分析流程的设计与可信部署提供了实证依据。