Auto-FL-Research:聯邦學習演算法的智慧搜尋
Auto-FL-Research (AFR) 是一個約束程式設計代理工作流,用於自動搜尋聯邦學習演算法。它在五個醫療保健FLamby任務和六個LEAF資料集上進行了評估,顯示在多個任務上取得了提升,但也揭示了種子敏感性和搜尋選擇的失敗案例。
聯邦學習(FL)研究通常依賴於許多微小但重要的演算法選擇,例如最佳化器變體、伺服器聚合規則、本地訓練策略、歸一化、正則化以及模型架構。這些選擇的手動探索成本高昂,而且當候選更改可能影響FL訓練或評估路徑時,難以進行公平比較。最近,由Holger R. Roth等六位研究者共同提出了一種名為Auto-FL-Research(AFR)的新方法,旨在透過約束程式設計代理工作流自動搜尋FL演算法配方。相關論文已於2026年7月1日提交至arXiv平臺(編號arXiv:2607.01366),全文共8頁,包含5張圖和6張表格。
AFR的核心思想是利用智慧代理自動提出並實現候選訓練演算法。這些候選演算法可以涵蓋伺服器聚合規則、客戶端更新計劃、本地目標函式以及註冊模型變體等多個方面。與此同時,任務配置檔案會固定突變表面、計算預算、通訊合同以及最終模型評估的標準。每次實驗都會被詳細記錄,包括候選分數、執行時間、編輯檔案、產生的工件以及失敗狀態。這種結構化的記錄方式使得整個過程透明且可復現。
研究團隊在五個醫療保健領域的跨部門FLamby任務以及五個固定LEAF資料集加上LEAF合成任務的分組客戶端配置上評估了AFR的效能。透過五次不同種子的重複評估,研究發現在四個FLamby任務和五個LEAF配置上取得了顯著的效能提升。然而,實驗結果也暴露了一些問題,例如種子敏感性和搜尋選擇導致的失敗案例。為了進一步驗證成果的可靠性,研究還設定了相同預算的對照實驗。結果表明,一部分效能提升確實源於FL配方的變化,而另一些改進則可以透過固定表面標量控制來實現,或者在重複評估或是保留資料集的評估中失效。
這些混合的結果本身就是重要的貢獻。它們展示瞭如何將代理生成的候選演算法分離為可重複的FL機制、表面調優效應以及單次執行的偽影。這一發現對於指導未來FL演算法的自動化搜尋具有重要的方法論意義,也有助於研究人員更準確地識別真正的演算法創新。