Auto-FL-Research:聯邦學習算法的智能搜索
Auto-FL-Research (AFR) 是一個約束編程代理工作流,用於自動搜索聯邦學習算法。它在五個醫療保健FLamby任務和六個LEAF數據集上進行了評估,顯示在多個任務上取得了提升,但也揭示了種子敏感性和搜索選擇的失敗案例。
聯邦學習(FL)研究通常依賴於許多微小但重要的算法選擇,例如優化器變體、服務器聚合規則、本地訓練策略、歸一化、正則化以及模型架構。這些選擇的手動探索成本高昂,而且當候選更改可能影響FL訓練或評估路徑時,難以進行公平比較。最近,由Holger R. Roth等六位研究者共同提出了一種名為Auto-FL-Research(AFR)的新方法,旨在通過約束編程代理工作流自動搜索FL算法配方。相關論文已於2026年7月1日提交至arXiv平台(編號arXiv:2607.01366),全文共8頁,包含5張圖和6張表格。
AFR的核心思想是利用智能代理自動提出並實現候選訓練算法。這些候選算法可以涵蓋服務器聚合規則、客户端更新計劃、本地目標函數以及註冊模型變體等多個方面。與此同時,任務配置文件會固定突變表面、計算預算、通信合同以及最終模型評估的標準。每次實驗都會被詳細記錄,包括候選分數、運行時間、編輯文件、產生的工件以及失敗狀態。這種結構化的記錄方式使得整個過程透明且可復現。
研究團隊在五個醫療保健領域的跨部門FLamby任務以及五個固定LEAF數據集加上LEAF合成任務的分組客户端配置上評估了AFR的性能。通過五次不同種子的重複評估,研究發現在四個FLamby任務和五個LEAF配置上取得了顯著的性能提升。然而,實驗結果也暴露了一些問題,例如種子敏感性和搜索選擇導致的失敗案例。為了進一步驗證成果的可靠性,研究還設置了相同預算的對照實驗。結果表明,一部分性能提升確實源於FL配方的變化,而另一些改進則可以通過固定表面標量控制來實現,或者在重複評估或是保留數據集的評估中失效。
這些混合的結果本身就是重要的貢獻。它們展示瞭如何將代理生成的候選算法分離為可重複的FL機制、表面調優效應以及單次運行的偽影。這一發現對於指導未來FL算法的自動化搜索具有重要的方法論意義,也有助於研究人員更準確地識別真正的算法創新。