跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

生成位置至关重要:面向标签偏斜联邦学习的预算感知合成增强

文章摘要

联邦学习中标签偏斜导致客户端漂移并降低全局精度。合成数据增强可以缓解这一不平衡,但完全类别平衡需要大量计算成本。本文提出FedEAS策略,根据客户端本地标签分布为每个客户端分配熵自适应每类生成预算,联合决定生成数量和样本分配方向。总生成预算由各客户端预算动态确定,而非预先固定。FedEAS在减少94.1%生成预算的同时恢复了完全类别平衡的大部分精度增益,在相同总预算下,在CIFAR-10和CIFAR-100上比均匀分配方法性能提升高达18.82%。

来源arXiv Machine Learning作者: Sangwoo Lee, Sunghwan Park, Jaewoo Lee
生成位置至关重要:面向标签偏斜联邦学习的预算感知合成增强
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

联邦学习(Federated Learning, FL)是一种分布式机器学习范式,其中多个客户端在本地数据上协同训练模型,而无需共享原始数据。然而,实际部署中经常面临一个严峻挑战:标签分布偏斜(Label Skew)。不同客户端可能拥有截然不同的数据分布,例如,某些客户端只有猫的图片,而其他客户端只有狗的图片。这种标签偏斜会导致客户端漂移(Client Drift),即各客户端模型向局部最优方向过度偏离,最终严重损害全局模型的准确率。

为了缓解标签偏斜,研究者们通常采用合成数据增强技术。通过生成额外样本来平衡各个类别的数据数量,可以显著减少客户端漂移。然而,这种方法有一个重大缺陷:实现完全的类别平衡(Full Class Balancing)需要极为高昂的计算成本。因为要对每个客户端在每个类别上生成足够多的合成样本,计算开销随客户端数量和类别数线性增长。

近日,一项发表于arXiv(编号:2607.06616)的新研究提出了FedEAS(Federated Entropy-Adaptive Synthesis)策略,旨在以极低的计算成本实现与完全类别平衡相近的精度提升。FedEAS的核心思想是“预算感知”合成数据生成。它并非对所有客户端一视同仁地分配生成预算,而是根据每个客户端的本地标签分布,计算一个熵自适应的每类生成预算(Entropy-Adaptive Per-Class Generation Budget)。这个预算同时控制两个关键决策:每个客户端需要生成多少合成样本(How Much),以及这些样本应该被发送到哪些客户端(WHERE)。

具体而言,FedEAS首先衡量每个客户端的标签分布熵。熵较低表示分布极端不平衡,熵较高则相对平衡。对于熵较低(即更偏斜)的客户端,FedEAS会分配更高的生成预算,因为它们需要更多合成样本来修正分布。反之,对于熵较高(相对平衡)的客户端,分配较少的预算。通过这种方式,总生成预算不再是一个预先固定的数字,而是由各个客户端的预算动态累积而成。这种方法避免了传统均匀分配预算的浪费,将资源集中在最需要的地方。

实验结果表明,FedEAS在标准图像分类数据集CIFAR-10和CIFAR-100上表现极为出色。仅使用完全类别平衡所需预算的5.9%(即减少了94.1%),就恢复了通过完全平衡实现的大部分精度增益。更令人振奋的是,在相同的总生成预算下,FedEAS相比均匀分配预算的方案,性能提升高达18.82%。

这项工作的意义不仅在于技术层面的突破,更在于它为资源受限的联邦学习场景提供了一种实用的解决方案。在移动设备、物联网端侧等计算资源有限的环境中,FedEAS能够大幅降低合成数据生成的计算和通信开销,同时保持模型的高精度。此外,该策略的熵自适应机制有望推广到其他隐私保护场景,如混淆数据增强或梯度压缩。随着联邦学习在医疗、金融等敏感领域的广泛应用,FedEAS的出现无疑将推动这一技术向更高效、更平衡的方向发展。论文由Sangwoo Lee等三位作者完成,目前以预印本形式公开供学界讨论。

展开要点与分析

文章情报

研究者进阶

要点

  • FedEAS通过熵自适应预算分配,显著降低合成数据生成成本。
  • 该方法在CIFAR-10和CIFAR-100上以94.1%的预算减少实现了接近完全类别平衡的精度。
  • 与均匀预算分配相比,FedEAS在相同总预算下精度提升达18.82%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。