近日，一项发表在arXiv上的研究提出了名为Haiku的三模态对比学习模型，旨在整合分子、形态学和临床数据，推动基础与转化生物医学研究。该模型在多重免疫荧光（mIF）数据上训练，包含来自3218个组织切片的2670万个空间蛋白质组学斑块，这些切片来自1606名患者，涵盖11种器官类型。Haiku将匹配的苏木精-伊红（H&E）组织学图像与临床元数据对齐到共享嵌入空间中，实现了三向跨模态检索，并显著提升了下游分类和临床预测任务的性能。
在性能评估中，Haiku在跨模态检索任务中实现了Recall@50高达0.611，而基线方法几乎为零；在生存预测任务中，C指数达到0.737，相对提升7.91%；在零样本生物标志物推断中，平均皮尔逊相关系数为0.718，涵盖52种生物标志物。此外，Haiku引入了一个反事实预测框架，仅通过修改临床元数据而固定组织形态，即可揭示与乳腺癌阶段进展和肺癌生存结果相关的特定生态位分子变化。在肺腺癌案例研究中，反事实分析恢复了特定生态位的变化，表现为CD8和颗粒酶B增加、PD-L1降低以及Ki67下降，这些模式与已知的良好结果一致。作者强调，这些反事实结果是探索性和假设生成的信号，而非机制性声明。这些能力表明，三模态对齐能够实现空间生物学的整合分析，将分子测量与临床背景连接起来，为生物学探索提供新工具。