跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

SUM:面向聯邦類增量學習的時空自適應向量統一幾何手術

文章摘要

本文提出SUM,一種純服務器端框架,通過在聚合過程中對自適應向量進行幾何手術,同時緩解聯邦類增量學習中的空間干擾和時間干擾,無需額外客户端計算或通信,在多個基準測試上實現高達22%的性能提升。

來源arXiv Machine Learning作者: Jaeik Kim, Jaeyoung Do
SUM:面向聯邦類增量學習的時空自適應向量統一幾何手術
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

聯邦類增量學習(Federated Class Incremental Learning, FCIL)是聯邦學習與持續學習的交叉領域,旨在使分佈式智能系統能夠在數據孤島之間協作,並持續適應新任務。然而,這種結合帶來了兩種耦合的干擾源:來自異構客户端的空間干擾和來自順序任務的時間干擾,兩者共同導致時空災難性遺忘(Spatial-Temporal Catastrophic Forgetting, ST-CF)。現有方法通常採用獨立機制分別處理空間和時間干擾,但這往往需要額外的客户端計算或通信開銷,並且在聚合過程中對更新之間的方向性交互缺乏規範。例如,一些方法通過正則化或回放來緩解遺忘,但增加了客户端負擔;而另一些則試圖在服務器端調整聚合權重,但未能有效協調不同來源的更新方向。

在這項被ECCV 2026接收的研究中,Jaeik Kim和Jaeyoung Do將FCIL重新解釋為一個統一的多任務學習問題,其中客户端和任務更新都被表示為共享參數空間中的自適應向量。基於這一觀點,他們提出了SUM(Unified Geometric Surgery on Spatio-Temporal Adaptation Vectors),這是一個純服務器端的框架,在聚合過程中對自適應向量執行幾何手術。SUM包含兩個主要組件:空間SUM在每個通信輪次內緩解客户端級別的干擾,它通過調整客户端更新向量的方向來減少異構性帶來的衝突;因果在線時間SUM則隨時間推移消除跨任務干擾,它利用因果推斷確保任務更新不會干擾之前的任務知識。這兩種組件都不需要額外的客户端計算、通信或內存開銷,僅依賴標準的聯邦訓練過程。

實驗結果表明,SUM在多種視覺和語言基準測試中,相比先前的FCIL方法實現了高達22%的性能提升。例如,在CIFAR-100和Tiny-ImageNet等圖像分類任務以及文本分類任務上,SUM一致優於現有方法。同時,該方法對不可靠的客户端保持魯棒性,即使部分客户端掉線或上傳損壞的更新,SUM仍能維持性能。此外,SUM的計算效率與標準聯邦學習相當,沒有引入顯著開銷。論文的代碼和更多細節可通過arXiv獲取(arXiv:2607.19384)。該工作為聯邦持續學習提供了一種優雅且高效的解決方案,有望推動分佈式智能系統在實際應用中的部署。

展開要點與分析

文章情報

研究者進階

要點

  • 聯邦類增量學習(FCIL)面臨空間和時間雙重干擾,導致災難性遺忘。
  • SUM將FCIL重新解釋為統一多任務學習問題,在服務器端進行幾何手術。
  • 空間SUM緩解每輪客户端干擾,因果在線時間SUM消除跨任務干擾。
  • SUM在視覺和語言基準上優於現有方法,且對不可靠客户端魯棒。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。