跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

SUM:面向聯邦類增量學習的時空自適應向量統一幾何手術

文章摘要

本文提出SUM,一種純伺服器端框架,透過在聚合過程中對自適應向量進行幾何手術,同時緩解聯邦類增量學習中的空間干擾和時間干擾,無需額外客戶端計算或通訊,在多個基準測試上實現高達22%的效能提升。

來源arXiv Machine Learning作者: Jaeik Kim, Jaeyoung Do
SUM:面向聯邦類增量學習的時空自適應向量統一幾何手術
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

聯邦類增量學習(Federated Class Incremental Learning, FCIL)是聯邦學習與持續學習的交叉領域,旨在使分散式智慧系統能夠在資料孤島之間協作,並持續適應新任務。然而,這種結合帶來了兩種耦合的干擾源:來自異構客戶端的空間干擾和來自順序任務的時間干擾,兩者共同導致時空災難性遺忘(Spatial-Temporal Catastrophic Forgetting, ST-CF)。現有方法通常採用獨立機制分別處理空間和時間干擾,但這往往需要額外的客戶端計算或通訊開銷,並且在聚合過程中對更新之間的方向性互動缺乏規範。例如,一些方法透過正則化或回放來緩解遺忘,但增加了客戶端負擔;而另一些則試圖在伺服器端調整聚合權重,但未能有效協調不同來源的更新方向。

在這項被ECCV 2026接收的研究中,Jaeik Kim和Jaeyoung Do將FCIL重新解釋為一個統一的多工學習問題,其中客戶端和任務更新都被表示為共享引數空間中的自適應向量。基於這一觀點,他們提出了SUM(Unified Geometric Surgery on Spatio-Temporal Adaptation Vectors),這是一個純伺服器端的框架,在聚合過程中對自適應向量執行幾何手術。SUM包含兩個主要元件:空間SUM在每個通訊輪次內緩解客戶端級別的干擾,它透過調整客戶端更新向量的方向來減少異構性帶來的衝突;因果線上時間SUM則隨時間推移消除跨任務干擾,它利用因果推斷確保任務更新不會干擾之前的任務知識。這兩種元件都不需要額外的客戶端計算、通訊或記憶體開銷,僅依賴標準的聯邦訓練過程。

實驗結果表明,SUM在多種視覺和語言基準測試中,相比先前的FCIL方法實現了高達22%的效能提升。例如,在CIFAR-100和Tiny-ImageNet等影像分類任務以及文本分類任務上,SUM一致優於現有方法。同時,該方法對不可靠的客戶端保持魯棒性,即使部分客戶端掉線或上傳損壞的更新,SUM仍能維持效能。此外,SUM的計算效率與標準聯邦學習相當,沒有引入顯著開銷。論文的程式碼和更多細節可透過arXiv獲取(arXiv:2607.19384)。該工作為聯邦持續學習提供了一種優雅且高效的解決方案,有望推動分散式智慧系統在實際應用中的部署。

展開要點與分析

文章情報

研究者進階

要點

  • 聯邦類增量學習(FCIL)面臨空間和時間雙重干擾,導致災難性遺忘。
  • SUM將FCIL重新解釋為統一多工學習問題,在伺服器端進行幾何手術。
  • 空間SUM緩解每輪客戶端干擾,因果線上時間SUM消除跨任務干擾。
  • SUM在視覺和語言基準上優於現有方法,且對不可靠客戶端魯棒。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。