跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

基于推送的异步联邦学习:偏差校正聚合方法

文章摘要

PushCen-ADFL 是一个通信高效的异步去中心化联邦学习框架,通过共享质心表示空间耦合通信、聚合和本地稳定化,使用平均保持的 push-sum 混合校正聚合偏差,并利用质心正则化缓解异构性和陈旧性下的模型漂移。实验表明,在数据异构情况下准确率提升最高达 6%,同时每次推送的通信成本降低超过 80%。

来源arXiv Machine Learning作者: Jiahui Bai, Hai Dong, A. K. Qin
基于推送的异步联邦学习:偏差校正聚合方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

异步去中心化联邦学习(ADFL)通过取消中心协调节点和全局同步机制,被视为面向大规模、异构系统的有吸引力方案。然而,点对点通信频繁、有向拓扑上的异步更新以及非独立同分布(non-IID)数据三者叠加,会带来通信开销过大、聚合偏差以及严重的模型漂移问题。针对这些挑战,Jiahui Bai 等作者提出 PushCen-ADFL,一个通信高效的 ADFL 框架,目标是在非对称通信和客户端延迟参与的条件下实现稳定训练。该论文已被第 32 届 ACM SIGKDD 知识发现与数据挖掘大会(KDD 2026)接收,arXiv 版本为扩展版,包含完整附录,提交时间为 2026 年 5 月 24 日。

PushCen-ADFL 的核心设计思想是把通信、聚合与本地稳定化统一到共享的质心表示空间中,使压缩与优化之间形成闭环。具体而言,客户端之间交换质心形式的模型消息,而不是完整模型参数;在聚合阶段采用保均值的 push-sum 混合方法,用以纠正异步有向拓扑下的聚合偏差。与此同时,方法引入轻量的质心正则项,并将其锚定在同一质心空间内,以缓解数据异构性和消息陈旧性导致的模型漂移。这一正则化设计的意义在于,它不需要额外的全局同步,就能在本地训练中抑制由延迟更新引起的偏差累积。

为应对不规则到达的异步消息,框架还设计了一个有界且按发送方去重的缓冲区,从而提升系统在消息乱序、重复和突发到达情况下的鲁棒性。这种缓冲机制与 push-sum 混合、质心正则共同构成完整流程,覆盖了从通信压缩、偏差校正到本地稳定的各个环节。

在视觉数据集上的实验显示,PushCen-ADFL 在数据异构条件下可将准确率最多提升 6%,同时把每次推送的通信成本降低 80% 以上,取得了较好的准确率与通信开销之间的权衡。论文同时给出相关 DOI(10.1145/3770855.3817925)以及 arXiv DOI,研究主题归属于机器学习(cs.LG)与人工智能(cs.AI)方向。总体来看,该工作为无中心、异步、异构环境下的联邦学习提供了一种兼顾通信效率与训练稳定性的聚合思路,其偏差校正与去重缓冲设计对实际部署中常见的延迟和消息不规则问题具有直接参考价值。

展开要点与分析

文章情报

研究者进阶

要点

  • PushCen-ADFL 在共享质心表示空间中耦合通信、聚合与本地稳定化,形成压缩与优化的闭环。
  • 采用平均保持的 push-sum 混合校正聚合偏差,并使用轻量级质心正则化缓解异构性和陈旧性下的漂移。
  • 在视觉数据集上,数据异构时准确率提升最高达 6%,每次推送通信成本降低超过 80%。
  • 该工作被 KDD 2026 接受,并提供了带有完整附录的扩展版本。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。