近日,一篇由Thinh T. H. Nguyen等七位作者共同完成的論文《HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning》在arXiv上釋出(提交日期為2026年6月13日)。該論文針對聯邦持續學習(Federated Continual Learning, FCL)中評估基準缺乏標準化的問題,提出了一個名為HERO的異構感知基準庫。
FCL旨在評估分散式客戶端如何從持續變化的資料流中學習新知識,同時避免遺忘已學內容。然而,現有的評估設定往往同時改變資料集、任務劃分方式、客戶端資料分配、任務順序、骨幹網路架構、記憶體假設以及報告規則等多個維度,導致不同研究之間的結果難以直接比較。HERO的核心創新在於解耦了三個常常被耦合的設計選擇:任務劃分、客戶端資料劃分和客戶端任務序列。透過這種解耦,HERO能夠構建出更為公平、可比的基準測試流。
在HERO的核心基準HERO-Core中,論文引入了兩個關鍵引數:α用於控制客戶端資料傾斜的程度,ρ用於控制不同客戶端之間任務順序的不匹配程度。研究團隊在CIFAR-100和TinyImageNet兩個經典資料集上評估了多種代表性FCL方法,採用了最終平均準確率、平均遺忘率以及底部10%客戶端的準確率作為衡量指標。此外,他們還專門在OGB-MolPCBA上開展了一個基於圖的域增量學習(Domain-IL)可移植性案例研究,其中支架域粒度改變了輸入分佈,但預測任務保持不變。
實驗結果表明:不同FCL方法在簡單設定與異構設定下的表現存在顯著差異;平均準確率往往會掩蓋底層客戶端效能的薄弱環節;任務順序的不匹配會導致方法偏好與同步評估不同的策略;而HERO統一的介面還能夠有效揭示影像域之外的域遷移難度。該論文最後指出,HERO已公開發布基準測試流、配置引數、方法實現以及報告指令碼,以支援可復現的、設定感知的FCL評估,從而推動該領域的發展。