異步去中心化聯邦學習(ADFL)消除了中央協調和全局同步,適用於大規模異構系統。然而,頻繁的點對點通信、有向拓撲上的異步更新以及非獨立同分布(non-IID)數據共同導致通信開銷過高、聚合偏差嚴重和模型漂移。針對這些問題,研究者提出了PushCen-ADFL,一種通信高效的ADFL框架,能夠在非對稱通信和客户端延遲參與下實現穩定訓練。
PushCen-ADFL的核心創新在於將通信、聚合和局部穩定耦合在一個共享的質心表示空間中,形成壓縮與優化的閉環。客户端交換質心形式的消息,並應用保平均的推和混合來校正聚合偏差。同時,一種錨定在同一質心空間中的輕量級質心正則化技術被用於減輕異質性和陳舊性引起的模型漂移。此外,框架引入了一個有界的、發送端去重的緩衝區,以增強在異步到達不規則情況下的魯棒性。
在多個視覺數據集上的實驗表明,PushCen-ADFL在數據異質性下將準確率提升了高達6%,同時將每次推送的通信成本降低了超過80%,實現了準確率與通信效率之間的優異平衡。該成果已被2026年ACM SIGKDD國際會議(KDD 2026)接收。