ReCoLoRA：基于频谱感知的递归整合方法用于持续大语言模型微调
提出ReCoLoRA框架，通过递归整合低秩适配器解决持续微调中的灾难性遗忘问题。在六任务GLUE序列中，ReCoLoRA在三个骨干网络上取得最佳平均分，且训练参数量更少。
大型语言模型（LLM）的持续微调面临一个核心挑战：灾难性遗忘。当模型顺序学习多个任务时，新任务往往会覆盖旧知识，导致先前学到的能力迅速退化。现有的参数高效微调方法，如LoRA，通过在冻结的预训练权重上堆叠低秩更新来适应新任务。然而，这种方式在任务序列中会不断累积低秩矩阵，但缺乏对跨任务知识保留的显式设计，因此每个新任务仍然容易覆盖之前的任务知识。
针对这一问题，来自研究者团队提出了ReCoLoRA（Recursive Consolidation of Low-Rank Adapters），一种频谱感知的递归整合框架。ReCoLoRA的设计包含三个关键步骤。首先，它通过随机奇异值分解（SVD）从预训练权重中初始化适配器，并利用肘部准则为每一层自动选择有效的秩，从而避免手动调整秩的超参数。在训练过程中，主成分子空间被优先适应，随后开放残差容量以捕获剩余信息。
真正让ReCoLoRA区别于现有方法的是其递归整合机制。在每项新任务开始前，ReCoLoRA不是重新使用原始预训练权重，而是对当前的有效权重进行重新分解。它将权重拆分为三个部分：一个冻结的残差部分、一个缓慢更新的主成分部分，以及一个全新的适配器。这种设计确保每个新任务都是从已经吸收了先前任务知识的模型状态开始，从而有效缓解灾难性遗忘。
实验部分，研究者在四个参数规模为7-8B的骨干网络（如Llama、Mistral等）上，使用持续GLUE基准的六任务序列进行评测。对比的基线包括LoRA、PiSSA、AdaLoRA和DoRA等主流方法。结果显示，ReCoLoRA在三个骨干网络上取得了最佳平均分数，同时训练参数量少于或等于对比方法。此外，一个基于任务库的oracle-routed变体作为完全任务隔离的上界，进一步验证了ReCoLoRA的有效性。
ReCoLoRA为LLM的持续学习提供了一种高效且可扩展的解决方案。代码已在GitHub上开源（https://github.com/bhqy666/ReCoLoRA），便于社区复现和进一步探索。该工作发表于arXiv，作者为Wentao Lu，于2026年7月提交。