AI News HubLIVE
站内改写2 分钟阅读

SUM:面向联邦类增量学习的时空自适应向量统一几何手术

本文提出SUM,一种纯服务器端框架,通过在聚合过程中对自适应向量进行几何手术,同时缓解联邦类增量学习中的空间干扰和时间干扰,无需额外客户端计算或通信,在多个基准测试上实现高达22%的性能提升。

来源arXiv Machine Learning作者: Jaeik Kim, Jaeyoung Do

联邦类增量学习(Federated Class Incremental Learning, FCIL)是联邦学习与持续学习的交叉领域,旨在使分布式智能系统能够在数据孤岛之间协作,并持续适应新任务。然而,这种结合带来了两种耦合的干扰源:来自异构客户端的空间干扰和来自顺序任务的时间干扰,两者共同导致时空灾难性遗忘(Spatial-Temporal Catastrophic Forgetting, ST-CF)。现有方法通常采用独立机制分别处理空间和时间干扰,但这往往需要额外的客户端计算或通信开销,并且在聚合过程中对更新之间的方向性交互缺乏规范。例如,一些方法通过正则化或回放来缓解遗忘,但增加了客户端负担;而另一些则试图在服务器端调整聚合权重,但未能有效协调不同来源的更新方向。

在这项被ECCV 2026接收的研究中,Jaeik Kim和Jaeyoung Do将FCIL重新解释为一个统一的多任务学习问题,其中客户端和任务更新都被表示为共享参数空间中的自适应向量。基于这一观点,他们提出了SUM(Unified Geometric Surgery on Spatio-Temporal Adaptation Vectors),这是一个纯服务器端的框架,在聚合过程中对自适应向量执行几何手术。SUM包含两个主要组件:空间SUM在每个通信轮次内缓解客户端级别的干扰,它通过调整客户端更新向量的方向来减少异构性带来的冲突;因果在线时间SUM则随时间推移消除跨任务干扰,它利用因果推断确保任务更新不会干扰之前的任务知识。这两种组件都不需要额外的客户端计算、通信或内存开销,仅依赖标准的联邦训练过程。

实验结果表明,SUM在多种视觉和语言基准测试中,相比先前的FCIL方法实现了高达22%的性能提升。例如,在CIFAR-100和Tiny-ImageNet等图像分类任务以及文本分类任务上,SUM一致优于现有方法。同时,该方法对不可靠的客户端保持鲁棒性,即使部分客户端掉线或上传损坏的更新,SUM仍能维持性能。此外,SUM的计算效率与标准联邦学习相当,没有引入显著开销。论文的代码和更多细节可通过arXiv获取(arXiv:2607.19384)。该工作为联邦持续学习提供了一种优雅且高效的解决方案,有望推动分布式智能系统在实际应用中的部署。