联邦学习(Federated Learning, FL)是一种分布式机器学习范式,其中多个客户端在本地数据上协同训练模型,而无需共享原始数据。然而,实际部署中经常面临一个严峻挑战:标签分布偏斜(Label Skew)。不同客户端可能拥有截然不同的数据分布,例如,某些客户端只有猫的图片,而其他客户端只有狗的图片。这种标签偏斜会导致客户端漂移(Client Drift),即各客户端模型向局部最优方向过度偏离,最终严重损害全局模型的准确率。
为了缓解标签偏斜,研究者们通常采用合成数据增强技术。通过生成额外样本来平衡各个类别的数据数量,可以显著减少客户端漂移。然而,这种方法有一个重大缺陷:实现完全的类别平衡(Full Class Balancing)需要极为高昂的计算成本。因为要对每个客户端在每个类别上生成足够多的合成样本,计算开销随客户端数量和类别数线性增长。
近日,一项发表于arXiv(编号:2607.06616)的新研究提出了FedEAS(Federated Entropy-Adaptive Synthesis)策略,旨在以极低的计算成本实现与完全类别平衡相近的精度提升。FedEAS的核心思想是“预算感知”合成数据生成。它并非对所有客户端一视同仁地分配生成预算,而是根据每个客户端的本地标签分布,计算一个熵自适应的每类生成预算(Entropy-Adaptive Per-Class Generation Budget)。这个预算同时控制两个关键决策:每个客户端需要生成多少合成样本(How Much),以及这些样本应该被发送到哪些客户端(WHERE)。
具体而言,FedEAS首先衡量每个客户端的标签分布熵。熵较低表示分布极端不平衡,熵较高则相对平衡。对于熵较低(即更偏斜)的客户端,FedEAS会分配更高的生成预算,因为它们需要更多合成样本来修正分布。反之,对于熵较高(相对平衡)的客户端,分配较少的预算。通过这种方式,总生成预算不再是一个预先固定的数字,而是由各个客户端的预算动态累积而成。这种方法避免了传统均匀分配预算的浪费,将资源集中在最需要的地方。
实验结果表明,FedEAS在标准图像分类数据集CIFAR-10和CIFAR-100上表现极为出色。仅使用完全类别平衡所需预算的5.9%(即减少了94.1%),就恢复了通过完全平衡实现的大部分精度增益。更令人振奋的是,在相同的总生成预算下,FedEAS相比均匀分配预算的方案,性能提升高达18.82%。
这项工作的意义不仅在于技术层面的突破,更在于它为资源受限的联邦学习场景提供了一种实用的解决方案。在移动设备、物联网端侧等计算资源有限的环境中,FedEAS能够大幅降低合成数据生成的计算和通信开销,同时保持模型的高精度。此外,该策略的熵自适应机制有望推广到其他隐私保护场景,如混淆数据增强或梯度压缩。随着联邦学习在医疗、金融等敏感领域的广泛应用,FedEAS的出现无疑将推动这一技术向更高效、更平衡的方向发展。论文由Sangwoo Lee等三位作者完成,目前以预印本形式公开供学界讨论。