Auto-FL-Research:联邦学习算法的智能搜索
Auto-FL-Research (AFR) 是一个约束编程代理工作流,用于自动搜索联邦学习算法。它在五个医疗保健FLamby任务和六个LEAF数据集上进行了评估,显示在多个任务上取得了提升,但也揭示了种子敏感性和搜索选择的失败案例。
联邦学习(FL)研究通常依赖于许多微小但重要的算法选择,例如优化器变体、服务器聚合规则、本地训练策略、归一化、正则化以及模型架构。这些选择的手动探索成本高昂,而且当候选更改可能影响FL训练或评估路径时,难以进行公平比较。最近,由Holger R. Roth等六位研究者共同提出了一种名为Auto-FL-Research(AFR)的新方法,旨在通过约束编程代理工作流自动搜索FL算法配方。相关论文已于2026年7月1日提交至arXiv平台(编号arXiv:2607.01366),全文共8页,包含5张图和6张表格。
AFR的核心思想是利用智能代理自动提出并实现候选训练算法。这些候选算法可以涵盖服务器聚合规则、客户端更新计划、本地目标函数以及注册模型变体等多个方面。与此同时,任务配置文件会固定突变表面、计算预算、通信合同以及最终模型评估的标准。每次实验都会被详细记录,包括候选分数、运行时间、编辑文件、产生的工件以及失败状态。这种结构化的记录方式使得整个过程透明且可复现。
研究团队在五个医疗保健领域的跨部门FLamby任务以及五个固定LEAF数据集加上LEAF合成任务的分组客户端配置上评估了AFR的性能。通过五次不同种子的重复评估,研究发现在四个FLamby任务和五个LEAF配置上取得了显著的性能提升。然而,实验结果也暴露了一些问题,例如种子敏感性和搜索选择导致的失败案例。为了进一步验证成果的可靠性,研究还设置了相同预算的对照实验。结果表明,一部分性能提升确实源于FL配方的变化,而另一些改进则可以通过固定表面标量控制来实现,或者在重复评估或是保留数据集的评估中失效。
这些混合的结果本身就是重要的贡献。它们展示了如何将代理生成的候选算法分离为可重复的FL机制、表面调优效应以及单次运行的伪影。这一发现对于指导未来FL算法的自动化搜索具有重要的方法论意义,也有助于研究人员更准确地识别真正的算法创新。