マルチモーダル連合学習（Multimodal Federated Learning）は、複数のクライアントに分散したマルチモーダルデータ（医用画像、テキストレポートなど）を活用してモデルを協調学習する手法である。しかし実際の運用では、一部のクライアントが特定のモダリティを欠如しているケースが頻繁に発生する。例えば、ある病院はX線装置のみを保有し、CT画像を収集できない場合がある。このようなモダリティ欠落はモデルの性能を著しく低下させる。既存のアプローチは、追加の公開データセットを利用するか、利用可能なモダリティのみに基づいた単純な特徴合成に依存しているが、これらの手法は効果が限定的であり、ロバスト性に欠ける。
この課題に対処するため、Aavash Chhetri、Bibek Niroula、Eduard Vazquez、Yash Raj Shrestha、Prashnna Gyawali、Loris Bazzani、Binod Bhattaraiらの研究チームは2026年7月に提出した論文で、ProMoE-FLフレームワークを提案した。本フレームワークの核となるのは、グローバルなクライアント認識プロトタイプバンク（Prototype Bank）の構築である。このプロトタイプバンクは、異なる施設のデータから臨床的に意味のあるモダリティ事前知識を学習する。各プロトタイプは、例えば特定の病変がX線画像とCT画像でどのように現れるかといった典型的なモダリティ間の対応関係を表現する。
ProMoE-FLは、このプロトタイプバンクに基づいてプロトタイプ条件付きエキスパート混合（Prototype-conditioned Mixture of Experts）を採用する。標準的なエキスパート混合とは異なり、各エキスパートネットワークは現在のプロトタイプインデックスとモダリティインデックスに応じて動的に活性化される。具体的には、方向認識エキスパートルーティング（Direction-aware Expert Routing）メカニズムにより、欠落しているモダリティのタイプと現在のプロトタイプ特徴に基づいて最適なエキスパートのサブセットが選択され、欠落モダリティの特徴表現が合成される。この設計により、モデルは施設間の知識を活用しつつ、各クライアントの局所的なデータ分布にも適応できる。
提案手法の有効性を検証するため、研究チームは4つの公開胸部X線データセット（MIMIC-CXR、NIH Open-I、PadChest、CheXpert）を用いて、定量的および定性的な評価を実施した。実験設定は、全クライアントが同じモダリティを欠如する同質設定と、クライアントごとに欠落モダリティが異なるより困難な異質設定の2種類である。結果は、ProMoE-FLが両設定において、追加データセットを利用する手法を含む既存の最先端手法を一貫して上回ることを示した。特に、分類精度やF1スコアにおいて顕著な向上が見られた。また、定性分析により、合成された特徴は臨床的に関連性が高く、重要な病理特徴を保持していることが確認された。
本研究の重要性は、連合学習における施設間の事前知識のみを利用し、追加の公開データセットに依存せずに高品質な欠落モダリティ合成を実現した点にある。これにより、医療など機密性の高い分野でのマルチモーダル連合学習の実用化に向けた大きな障壁が取り除かれた。将来的には、本フレームワークをテキストやゲノムデータなどの他のモダリティ、また動的なモダリティ欠落や異種クライアントを含むより複雑な連合学習シナリオに拡張することが期待される。論文のarXiv番号は2607.06633であり、さらなる技術詳細やコードは今後公開される予定である。