多模態聯邦學習（Multimodal Federated Learning）旨在利用分佈在多個客戶端上的多模態資料（如醫學影像、文本報告）協同訓練模型，然而在實際部署中，某些客戶端可能由於裝置限制或資料收集不完整而缺失部分模態。這種模態缺失問題嚴重影響模型的效能，尤其是在醫療領域，不同醫院可能只擁有特定型別的成像裝置。現有的解決方案通常依賴額外的公共資料集來補充缺失模態，或者簡單地對可用模態進行特徵合成，但這些方法往往效果不佳且缺乏魯棒性。
針對這一挑戰，來自多個機構的研究人員（包括Aavash Chhetri、Bibek Niroula、Eduard Vazquez、Yash Raj Shrestha、Prashnna Gyawali、Loris Bazzani和Binod Bhattarai）在2026年7月提交的論文中提出了ProMoE-FL框架。該框架的核心創新在於構建了一個全域性客戶端感知的原型庫（Prototype Bank），這個原型庫能夠從不同參與機構的資料中學習到具有臨床意義的模態先驗知識。每個原型代表了一種典型的模態組合模式，例如某些病理特徵在X光片和CT影像中的對應關係。
在此基礎上，ProMoE-FL採用了原型條件專家混合模型（Prototype-conditioned Mixture of Experts）。與傳統的專家混合不同，這裡的專家網路不僅根據輸入資料動態選擇，還受當前原型索引和模態索引的聯合調控。具體來說，系統透過方向感知的專家路由（Direction-aware Expert Routing）機制，根據缺失模態的型別和當前的原型特徵，啟用最適合的專家子集來合成缺失模態的特徵表示。這種設計使得模型能夠充分利用跨機構的知識，同時保持對區域性客戶端資料分佈的適應性。
為了驗證方法的有效性，研究團隊在四個公開的胸部X光資料集上進行了全面的定量和定性評估：MIMIC-CXR、NIH Open-I、PadChest和CheXpert。實驗設定了兩種場景：同質設定（所有客戶端缺失相同的模態）和更具挑戰性的異質設定（不同客戶端缺失不同的模態）。結果表明，ProMoE-FL在這兩種設定下均一致地超越了現有的最先進方法（包括利用額外資料集的方法），在分類準確率、F1分數等指標上取得了顯著提升。此外，定性分析顯示，合成的特徵在視覺上具有臨床相關性，能夠保留關鍵的病理特徵。
這項工作的意義在於，它不依賴任何額外的公共資料集，僅透過聯邦學習過程中的跨機構先驗知識就能實現高質量的缺失模態合成，為多模態聯邦學習在醫療等敏感領域的實際應用掃清了一大障礙。未來，該框架有望擴充套件到更多模態（如文本、基因組資料）和更復雜的聯邦學習場景（如異構客戶端和動態模態缺失）。論文的arXiv編號為2607.06633，進一步的技術細節和程式碼有望在後續釋出。