近日，一項發表於arXiv的研究提出了FedMPO，一種面向模態異質性的魯棒聯邦多模態圖學習框架。多模態圖學習（MGL）透過融合文本、視覺、結構等多種模態資訊，在社交網路、推薦系統等應用中發揮重要作用。然而，實際場景中資料常因隱私或商業限制分佈在多方，形成孤島，且各方的模態資料可能不完整。現有方法難以應對這一挑戰：集中式MGL雖能處理缺失模態，但忽視了聯邦學習中的知識共享與泛化需求；聯邦MGL方法雖已成熟，卻主要面向非圖資料，難以直接應用於圖結構。
研究團隊首先識別了一個通用兩階段流水線：客戶端的模態補全與伺服器端的引數聚合。但進一步發現兩大難題：一是拓撲孤立下的區域性補全，即客戶端因缺乏全域性語義資訊，難以生成準確的缺失模態；二是可靠性不平衡的全域性聚合，不同客戶端的模態可用性與恢復可靠性差異大，導致聚合效果不佳。
為此，FedMPO設計了三個關鍵模組。第一，拓撲感知跨模態生成，利用圖結構中的鄰居資訊與全域性上下文，提升缺失模態的重建質量。第二，缺失感知專家路由，在客戶端側過濾掉噪聲訊號，提高區域性訓練的有效性。第三，可靠性感知聚合，根據客戶端更新的可靠性動態調整權重，抑制不可靠更新對全域性模型的干擾。
實驗在6個資料集上覆蓋了節點分類、連結預測和圖分類三種任務。結果顯示，FedMPO在各種缺失比例下均優於基線方法，特別在高度缺失（缺失率60%）和統計異質性（非獨立同分布）場景下，效能分別提升4.10%和5.65%。這一工作為分散式多模態圖學習提供了新的思路，有望推動聯邦學習在真實圖資料應用中的落地，例如醫療健康中的多中心協作診斷、金融風控中的隱私保護建模等。作者強調，儘管FedMPO在標準資料集上表現出色，未來仍需在更復雜的大規模圖上驗證其可擴充套件性，並探索動態圖場景下的適應性。