arXivに最近発表された研究では、Haikuと呼ばれる三モーダル対比学習モデルが提案され、分子、形態、および臨床データを統合して基礎およびトランスレーショナル生物医学研究を推進することを目的としています。このモデルは、多重免疫蛍光（mIF）データに基づいて訓練され、1606人の患者から得られた3218の組織切片にわたる2670万の空間プロテオミクスパッチを含み、11の臓器タイプをカバーしています。Haikuは、一致するヘマトキシリン・エオジン（H&E）組織学画像と臨床メタデータを共有埋め込み空間に整列させ、三方向のクロスモーダル検索を可能にし、単一モーダルのベースラインに比べて下流の分類および臨床予測タスクを改善します。さらに、臨床メタデータのみのテキスト記述に基づく融合検索を介したゼロショットバイオマーカー推論もサポートします。
性能評価では、Haikuは競合アプローチを上回り、クロスモーダル検索（Recall@50最大0.611、ベースラインはほぼゼロ）、生存予測（C-index 0.737、相対改善7.91%）、およびゼロショットバイオマーカー推論（52のバイオマーカーにわたる平均Pearson相関0.718）を達成しました。さらに、組織形態を固定し臨床メタデータのみを変更する反事実予測フレームワークを導入し、乳癌ステージ進行および肺癌生存結果に関連するニッチ特異的な分子変化を表面化させます。肺腺癌のケーススタディでは、反事実分析により、CD8およびグランザイムBの増加、PD-L1の減少、Ki67の減少を特徴とするニッチ特異的な変化が回復され、これは良好な転帰で報告されたパターンと広く一致しています。著者らはこれらの反事実結果を探索的で仮説生成的なシグナルとして提示しており、機構的な主張ではありません。これらの能力は、Haikuによる三モーダルアライメントが空間生物学の統合解析を可能にし、分子測定と臨床コンテキストを橋渡しして生物学的探求を促進することを示しています。