基于推送的异步联邦学习：一种偏差校正聚合方法
提出PushCen-ADFL框架，通过质心表示空间耦合通信、聚合与局部稳定，采用保平均推和混合校正聚合偏差，利用轻量质心正则化缓解异质性和陈旧性引起的模型漂移，并引入有界去重缓冲区提升鲁棒性。在视觉数据集上准确率提升高达6%，通信成本降低80%以上。
文章情报
工程师进阶
要点
- 异步去中心化联邦学习面临通信开销大、聚合偏差和模型漂移问题。
- PushCen-ADFL在共享质心空间中实现压缩与优化的闭环，通过质心消息传递和保平均推和混合纠正偏差。
- 轻量质心正则化锚定在质心空间，有效缓解非独立同分布数据下的漂移。
- 实验表明该方法在准确率与通信效率之间取得优越平衡。
为什么重要
这条新闻值得关注，因为异步去中心化联邦学习面临通信开销大、聚合偏差和模型漂移问题。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
异步去中心化联邦学习（ADFL）消除了中央协调和全局同步，适用于大规模异构系统。然而，频繁的点对点通信、有向拓扑上的异步更新以及非独立同分布（non-IID）数据共同导致通信开销过高、聚合偏差严重和模型漂移。针对这些问题，研究者提出了PushCen-ADFL，一种通信高效的ADFL框架，能够在非对称通信和客户端延迟参与下实现稳定训练。
PushCen-ADFL的核心创新在于将通信、聚合和局部稳定耦合在一个共享的质心表示空间中，形成压缩与优化的闭环。客户端交换质心形式的消息，并应用保平均的推和混合来校正聚合偏差。同时，一种锚定在同一质心空间中的轻量级质心正则化技术被用于减轻异质性和陈旧性引起的模型漂移。此外，框架引入了一个有界的、发送端去重的缓冲区，以增强在异步到达不规则情况下的鲁棒性。
在多个视觉数据集上的实验表明，PushCen-ADFL在数据异质性下将准确率提升了高达6%，同时将每次推送的通信成本降低了超过80%，实现了准确率与通信效率之间的优异平衡。该成果已被2026年ACM SIGKDD国际会议（KDD 2026）接收。