近日,一篇由Thinh T. H. Nguyen等七位作者共同完成的論文《HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning》在arXiv上發佈(提交日期為2026年6月13日)。該論文針對聯邦持續學習(Federated Continual Learning, FCL)中評估基準缺乏標準化的問題,提出了一個名為HERO的異構感知基準庫。
FCL旨在評估分佈式客户端如何從持續變化的數據流中學習新知識,同時避免遺忘已學內容。然而,現有的評估設置往往同時改變數據集、任務劃分方式、客户端數據分配、任務順序、骨幹網絡架構、內存假設以及報告規則等多個維度,導致不同研究之間的結果難以直接比較。HERO的核心創新在於解耦了三個常常被耦合的設計選擇:任務劃分、客户端數據劃分和客户端任務序列。通過這種解耦,HERO能夠構建出更為公平、可比的基準測試流。
在HERO的核心基準HERO-Core中,論文引入了兩個關鍵參數:α用於控制客户端數據傾斜的程度,ρ用於控制不同客户端之間任務順序的不匹配程度。研究團隊在CIFAR-100和TinyImageNet兩個經典數據集上評估了多種代表性FCL方法,採用了最終平均準確率、平均遺忘率以及底部10%客户端的準確率作為衡量指標。此外,他們還專門在OGB-MolPCBA上開展了一個基於圖的域增量學習(Domain-IL)可移植性案例研究,其中支架域粒度改變了輸入分佈,但預測任務保持不變。
實驗結果表明:不同FCL方法在簡單設置與異構設置下的表現存在顯著差異;平均準確率往往會掩蓋底層客户端性能的薄弱環節;任務順序的不匹配會導致方法偏好與同步評估不同的策略;而HERO統一的接口還能夠有效揭示圖像域之外的域遷移難度。該論文最後指出,HERO已公開發布基準測試流、配置參數、方法實現以及報告腳本,以支持可復現的、設置感知的FCL評估,從而推動該領域的發展。