多模態聯邦學習（Multimodal Federated Learning）旨在利用分佈在多個客户端上的多模態數據（如醫學影像、文本報告）協同訓練模型，然而在實際部署中，某些客户端可能由於設備限制或數據收集不完整而缺失部分模態。這種模態缺失問題嚴重影響模型的性能，尤其是在醫療領域，不同醫院可能只擁有特定類型的成像設備。現有的解決方案通常依賴額外的公共數據集來補充缺失模態，或者簡單地對可用模態進行特徵合成，但這些方法往往效果不佳且缺乏魯棒性。
針對這一挑戰，來自多個機構的研究人員（包括Aavash Chhetri、Bibek Niroula、Eduard Vazquez、Yash Raj Shrestha、Prashnna Gyawali、Loris Bazzani和Binod Bhattarai）在2026年7月提交的論文中提出了ProMoE-FL框架。該框架的核心創新在於構建了一個全局客户端感知的原型庫（Prototype Bank），這個原型庫能夠從不同參與機構的數據中學習到具有臨牀意義的模態先驗知識。每個原型代表了一種典型的模態組合模式，例如某些病理特徵在X光片和CT影像中的對應關係。
在此基礎上，ProMoE-FL採用了原型條件專家混合模型（Prototype-conditioned Mixture of Experts）。與傳統的專家混合不同，這裏的專家網絡不僅根據輸入數據動態選擇，還受當前原型索引和模態索引的聯合調控。具體來説，系統通過方向感知的專家路由（Direction-aware Expert Routing）機制，根據缺失模態的類型和當前的原型特徵，激活最適合的專家子集來合成缺失模態的特徵表示。這種設計使得模型能夠充分利用跨機構的知識，同時保持對局部客户端數據分佈的適應性。
為了驗證方法的有效性，研究團隊在四個公開的胸部X光數據集上進行了全面的定量和定性評估：MIMIC-CXR、NIH Open-I、PadChest和CheXpert。實驗設置了兩種場景：同質設置（所有客户端缺失相同的模態）和更具挑戰性的異質設置（不同客户端缺失不同的模態）。結果表明，ProMoE-FL在這兩種設置下均一致地超越了現有的最先進方法（包括利用額外數據集的方法），在分類準確率、F1分數等指標上取得了顯著提升。此外，定性分析顯示，合成的特徵在視覺上具有臨牀相關性，能夠保留關鍵的病理特徵。
這項工作的意義在於，它不依賴任何額外的公共數據集，僅通過聯邦學習過程中的跨機構先驗知識就能實現高質量的缺失模態合成，為多模態聯邦學習在醫療等敏感領域的實際應用掃清了一大障礙。未來，該框架有望擴展到更多模態（如文本、基因組數據）和更復雜的聯邦學習場景（如異構客户端和動態模態缺失）。論文的arXiv編號為2607.06633，進一步的技術細節和代碼有望在後續發佈。