近日，一項發表在arXiv上的研究提出了名為Haiku的三模態對比學習模型，旨在整合分子、形態學和臨床資料，推動基礎與轉化生物醫學研究。該模型在多重免疫熒光（mIF）資料上訓練，包含來自3218個組織切片的2670萬個空間蛋白質組學斑塊，這些切片來自1606名患者，涵蓋11種器官型別。Haiku將匹配的蘇木精-伊紅（H&E）組織學影像與臨床後設資料對齊到共享嵌入空間中，實現了三向跨模態檢索，並顯著提升了下游分類和臨床預測任務的效能。
在效能評估中，Haiku在跨模態檢索任務中實現了Recall@50高達0.611，而基線方法幾乎為零；在生存預測任務中，C指數達到0.737，相對提升7.91%；在零樣本生物標誌物推斷中，平均皮爾遜相關係數為0.718，涵蓋52種生物標誌物。此外，Haiku引入了一個反事實預測框架，僅透過修改臨床後設資料而固定組織形態，即可揭示與乳腺癌階段進展和肺癌生存結果相關的特定生態位分子變化。在肺腺癌案例研究中，反事實分析恢復了特定生態位的變化，表現為CD8和顆粒酶B增加、PD-L1降低以及Ki67下降，這些模式與已知的良好結果一致。作者強調，這些反事實結果是探索性和假設生成的訊號，而非機制性宣告。這些能力表明，三模態對齊能夠實現空間生物學的整合分析，將分子測量與臨床背景連線起來，為生物學探索提供新工具。