跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

基於推送的異步聯邦學習:一種偏差校正聚合方法

文章摘要

提出PushCen-ADFL框架,通過質心表示空間耦合通信、聚合與局部穩定,採用保平均推和混合校正聚合偏差,利用輕量質心正則化緩解異質性和陳舊性引起的模型漂移,並引入有界去重緩衝區提升魯棒性。在視覺數據集上準確率提升高達6%,通信成本降低80%以上。

來源arXiv Machine Learning作者: Jiahui Bai, Hai Dong, A. K. Qin
基於推送的異步聯邦學習:一種偏差校正聚合方法
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

異步去中心化聯邦學習(ADFL)消除了中央協調和全局同步,適用於大規模異構系統。然而,頻繁的點對點通信、有向拓撲上的異步更新以及非獨立同分布(non-IID)數據共同導致通信開銷過高、聚合偏差嚴重和模型漂移。針對這些問題,研究者提出了PushCen-ADFL,一種通信高效的ADFL框架,能夠在非對稱通信和客户端延遲參與下實現穩定訓練。

PushCen-ADFL的核心創新在於將通信、聚合和局部穩定耦合在一個共享的質心表示空間中,形成壓縮與優化的閉環。客户端交換質心形式的消息,並應用保平均的推和混合來校正聚合偏差。同時,一種錨定在同一質心空間中的輕量級質心正則化技術被用於減輕異質性和陳舊性引起的模型漂移。此外,框架引入了一個有界的、發送端去重的緩衝區,以增強在異步到達不規則情況下的魯棒性。

在多個視覺數據集上的實驗表明,PushCen-ADFL在數據異質性下將準確率提升了高達6%,同時將每次推送的通信成本降低了超過80%,實現了準確率與通信效率之間的優異平衡。該成果已被2026年ACM SIGKDD國際會議(KDD 2026)接收。

展開要點與分析

文章情報

工程師進階

要點

  • 異步去中心化聯邦學習面臨通信開銷大、聚合偏差和模型漂移問題。
  • PushCen-ADFL在共享質心空間中實現壓縮與優化的閉環,通過質心消息傳遞和保平均推和混合糾正偏差。
  • 輕量質心正則化錨定在質心空間,有效緩解非獨立同分布數據下的漂移。
  • 實驗表明該方法在準確率與通信效率之間取得優越平衡。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。