本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

SUM:連合クラス増分学習のための時空間適応ベクトルに対する統一幾何手術

記事の要約

本論文では、集約中に適応ベクトルに対して幾何手術を実行することで、連合クラス増分学習における空間的干渉と時間的干渉の両方を軽減し、追加のクライアント側計算や通信なしで最大22%の改善を達成するサーバーサイドフレームワークSUMを提案する。

ソースarXiv Machine Learning著者: Jaeik Kim, Jaeyoung Do
SUM:連合クラス増分学習のための時空間適応ベクトルに対する統一幾何手術
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

連合クラス増分学習(Federated Class Incremental Learning, FCIL)は、連合学習と継続学習を組み合わせたもので、データが分離されたクライアント間での分散コラボレーションと、進化するタスクへの継続的適応を可能にする。しかし、この組み合わせにより、異種クライアントからの空間的干渉と逐次タスクからの時間的干渉という2つの結合された干渉源が導入され、時空間破滅的忘却(Spatial-Temporal Catastrophic Forgetting, ST-CF)を引き起こす。既存のアプローチは通常、空間的干渉と時間的干渉を別々のメカニズムで対処し、多くの場合追加のクライアント側計算や通信を伴い、集約中の更新の方向的な相互作用は未規制のままである。例えば、正則化やリプレイを用いる手法はクライアント負荷を増加させ、サーバー側で集約重みを調整する手法は異なる更新方向の調整に失敗することが多い。

ECCV 2026に採択された本研究では、Jaeik KimとJaeyoung DoがFCILを統一マルチタスク学習問題として再解釈し、クライアントとタスクの更新を共有パラメータ空間内の適応ベクトルとして表現する。この見解に基づき、SUM(Unified Geometric Surgery on Spatio-Temporal Adaptation Vectors)を提案する。これは、集約中に適応ベクトルに対して幾何手術を実行する純粋なサーバーサイドフレームワークである。空間SUMは各ラウンド内でクライアントレベルの干渉を軽減し、クライアント更新ベクトルの方向を調整することで異質性による競合を低減する。因果オンライン時間SUMは時間経過に伴うタスク間干渉を除去し、因果推論を利用してタスク更新が以前のタスク知識を妨げないようにする。これらのコンポーネントは標準的な連合トレーニングを超える追加のクライアント側計算、通信、またはメモリを必要としない。

実験結果によれば、SUMは多様な視覚および言語ベンチマークにおいて従来のFCIL手法を最大22%上回る。例えば、CIFAR-100やTiny-ImageNetなどの画像分類タスクやテキスト分類タスクで一貫して優れた性能を示す。同時に、信頼性の低いクライアントに対しても頑健であり、一部のクライアントが切断したり破損した更新をアップロードしても性能を維持する。さらに、SUMの計算効率は標準的な連合学習と同等であり、顕著なオーバーヘッドは生じない。論文のコードと詳細はarXiv(arXiv:2607.19384)で入手可能である。この研究は連合継続学習に対するエレガントで効率的な解決策を提供し、分散型インテリジェントシステムの実世界展開を促進することが期待される。

要点と分析を開く

記事インテリジェンス

研究者上級

要点

  • 連合クラス増分学習(FCIL)は空間的および時間的干渉が結合し、破滅的忘却を引き起こす。
  • SUMはFCILを統一マルチタスク学習問題として再解釈し、サーバー側で幾何手術を行う。
  • 空間SUMは各ラウンドのクライアントレベル干渉を軽減し、因果オンライン時間SUMは時間的干渉を除去する。
  • SUMは視覚および言語ベンチマークで既存手法を上回り、信頼性の低いクライアントに対しても頑健。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。