近日，一項發表於arXiv的研究提出了FedMPO，一種面向模態異質性的魯棒聯邦多模態圖學習框架。多模態圖學習（MGL）通過融合文本、視覺、結構等多種模態信息，在社交網絡、推薦系統等應用中發揮重要作用。然而，實際場景中數據常因隱私或商業限制分佈在多方，形成孤島，且各方的模態數據可能不完整。現有方法難以應對這一挑戰：集中式MGL雖能處理缺失模態，但忽視了聯邦學習中的知識共享與泛化需求；聯邦MGL方法雖已成熟，卻主要面向非圖數據，難以直接應用於圖結構。
研究團隊首先識別了一個通用兩階段流水線：客户端的模態補全與服務器端的參數聚合。但進一步發現兩大難題：一是拓撲孤立下的局部補全，即客户端因缺乏全局語義信息，難以生成準確的缺失模態；二是可靠性不平衡的全局聚合，不同客户端的模態可用性與恢復可靠性差異大，導致聚合效果不佳。
為此，FedMPO設計了三個關鍵模塊。第一，拓撲感知跨模態生成，利用圖結構中的鄰居信息與全局上下文，提升缺失模態的重建質量。第二，缺失感知專家路由，在客户端側過濾掉噪聲信號，提高局部訓練的有效性。第三，可靠性感知聚合，根據客户端更新的可靠性動態調整權重，抑制不可靠更新對全局模型的干擾。
實驗在6個數據集上覆蓋了節點分類、鏈接預測和圖分類三種任務。結果顯示，FedMPO在各種缺失比例下均優於基線方法，特別在高度缺失（缺失率60%）和統計異質性（非獨立同分布）場景下，性能分別提升4.10%和5.65%。這一工作為分佈式多模態圖學習提供了新的思路，有望推動聯邦學習在真實圖數據應用中的落地，例如醫療健康中的多中心協作診斷、金融風控中的隱私保護建模等。作者強調，儘管FedMPO在標準數據集上表現出色，未來仍需在更復雜的大規模圖上驗證其可擴展性，並探索動態圖場景下的適應性。