ProMoE-FL：面向缺失模态的多模态联邦学习的原型条件专家混合模型

多模态联邦学习（Multimodal Federated Learning）旨在利用分布在多个客户端上的多模态数据（如医学影像、文本报告）协同训练模型，然而在实际部署中，某些客户端可能由于设备限制或数据收集不完整而缺失部分模态。这种模态缺失问题严重影响模型的性能，尤其是在医疗领域，不同医院可能只拥有特定类型的成像设备。现有的解决方案通常依赖额外的公共数据集来补充缺失模态，或者简单地对可用模态进行特征合成，但这些方法往往效果不佳且缺乏鲁棒性。

针对这一挑战，来自多个机构的研究人员（包括Aavash Chhetri、Bibek Niroula、Eduard Vazquez、Yash Raj Shrestha、Prashnna Gyawali、Loris Bazzani和Binod Bhattarai）在2026年7月提交的论文中提出了ProMoE-FL框架。该框架的核心创新在于构建了一个全局客户端感知的原型库（Prototype Bank），这个原型库能够从不同参与机构的数据中学习到具有临床意义的模态先验知识。每个原型代表了一种典型的模态组合模式，例如某些病理特征在X光片和CT影像中的对应关系。

在此基础上，ProMoE-FL采用了原型条件专家混合模型（Prototype-conditioned Mixture of Experts）。与传统的专家混合不同，这里的专家网络不仅根据输入数据动态选择，还受当前原型索引和模态索引的联合调控。具体来说，系统通过方向感知的专家路由（Direction-aware Expert Routing）机制，根据缺失模态的类型和当前的原型特征，激活最适合的专家子集来合成缺失模态的特征表示。这种设计使得模型能够充分利用跨机构的知识，同时保持对局部客户端数据分布的适应性。

为了验证方法的有效性，研究团队在四个公开的胸部X光数据集上进行了全面的定量和定性评估：MIMIC-CXR、NIH Open-I、PadChest和CheXpert。实验设置了两种场景：同质设置（所有客户端缺失相同的模态）和更具挑战性的异质设置（不同客户端缺失不同的模态）。结果表明，ProMoE-FL在这两种设置下均一致地超越了现有的最先进方法（包括利用额外数据集的方法），在分类准确率、F1分数等指标上取得了显著提升。此外，定性分析显示，合成的特征在视觉上具有临床相关性，能够保留关键的病理特征。

这项工作的意义在于，它不依赖任何额外的公共数据集，仅通过联邦学习过程中的跨机构先验知识就能实现高质量的缺失模态合成，为多模态联邦学习在医疗等敏感领域的实际应用扫清了一大障碍。未来，该框架有望扩展到更多模态（如文本、基因组数据）和更复杂的联邦学习场景（如异构客户端和动态模态缺失）。论文的arXiv编号为2607.06633，进一步的技术细节和代码有望在后续发布。