近日，一項發表在arXiv上的研究提出了名為Haiku的三模態對比學習模型，旨在整合分子、形態學和臨牀數據，推動基礎與轉化生物醫學研究。該模型在多重免疫熒光（mIF）數據上訓練，包含來自3218個組織切片的2670萬個空間蛋白質組學斑塊，這些切片來自1606名患者，涵蓋11種器官類型。Haiku將匹配的蘇木精-伊紅（H&E）組織學圖像與臨牀元數據對齊到共享嵌入空間中，實現了三向跨模態檢索，並顯著提升了下游分類和臨牀預測任務的性能。
在性能評估中，Haiku在跨模態檢索任務中實現了Recall@50高達0.611，而基線方法幾乎為零；在生存預測任務中，C指數達到0.737，相對提升7.91%；在零樣本生物標誌物推斷中，平均皮爾遜相關係數為0.718，涵蓋52種生物標誌物。此外，Haiku引入了一個反事實預測框架，僅通過修改臨牀元數據而固定組織形態，即可揭示與乳腺癌階段進展和肺癌生存結果相關的特定生態位分子變化。在肺腺癌案例研究中，反事實分析恢復了特定生態位的變化，表現為CD8和顆粒酶B增加、PD-L1降低以及Ki67下降，這些模式與已知的良好結果一致。作者強調，這些反事實結果是探索性和假設生成的信號，而非機制性聲明。這些能力表明，三模態對齊能夠實現空間生物學的整合分析，將分子測量與臨牀背景連接起來，為生物學探索提供新工具。