面向模态异质性的鲁棒联邦多模态图学习
多模态图学习（MGL）在整合多样模态信息与结构化上下文方面展现出重要价值，但现实世界中的图常因数据共享限制而孤立，且模态经常不完整。现有方法在联邦场景下存在不足：集中式MGL忽略联邦中的知识共享与泛化，联邦MGL主要针对非图数据。本文提出FedMPO，通过拓扑感知跨模态生成、缺失感知专家路由和可靠性感知聚合，分别解决局部生成依赖不足、全局聚合可靠性不平衡的问题。在6个数据集上的3个任务中，FedMPO在高度缺失和非独立同分布设置下性能提升达4.10%和5.65%。
近日，一项发表于arXiv的研究提出了FedMPO，一种面向模态异质性的鲁棒联邦多模态图学习框架。多模态图学习（MGL）通过融合文本、视觉、结构等多种模态信息，在社交网络、推荐系统等应用中发挥重要作用。然而，实际场景中数据常因隐私或商业限制分布在多方，形成孤岛，且各方的模态数据可能不完整。现有方法难以应对这一挑战：集中式MGL虽能处理缺失模态，但忽视了联邦学习中的知识共享与泛化需求；联邦MGL方法虽已成熟，却主要面向非图数据，难以直接应用于图结构。
研究团队首先识别了一个通用两阶段流水线：客户端的模态补全与服务器端的参数聚合。但进一步发现两大难题：一是拓扑孤立下的局部补全，即客户端因缺乏全局语义信息，难以生成准确的缺失模态；二是可靠性不平衡的全局聚合，不同客户端的模态可用性与恢复可靠性差异大，导致聚合效果不佳。
为此，FedMPO设计了三个关键模块。第一，拓扑感知跨模态生成，利用图结构中的邻居信息与全局上下文，提升缺失模态的重建质量。第二，缺失感知专家路由，在客户端侧过滤掉噪声信号，提高局部训练的有效性。第三，可靠性感知聚合，根据客户端更新的可靠性动态调整权重，抑制不可靠更新对全局模型的干扰。
实验在6个数据集上覆盖了节点分类、链接预测和图分类三种任务。结果显示，FedMPO在各种缺失比例下均优于基线方法，特别在高度缺失（缺失率60%）和统计异质性（非独立同分布）场景下，性能分别提升4.10%和5.65%。这一工作为分布式多模态图学习提供了新的思路，有望推动联邦学习在真实图数据应用中的落地，例如医疗健康中的多中心协作诊断、金融风控中的隐私保护建模等。作者强调，尽管FedMPO在标准数据集上表现出色，未来仍需在更复杂的大规模图上验证其可扩展性，并探索动态图场景下的适应性。