大型語言模型（LLM）的持續微調面臨一個核心挑戰：災難性遺忘。當模型順序學習多個任務時，新任務往往會覆蓋舊知識，導致先前學到的能力迅速退化。現有的參數高效微調方法，如LoRA，通過在凍結的預訓練權重上堆疊低秩更新來適應新任務。然而，這種方式在任務序列中會不斷累積低秩矩陣，但缺乏對跨任務知識保留的顯式設計，因此每個新任務仍然容易覆蓋之前的任務知識。
針對這一問題，來自研究者團隊提出了ReCoLoRA（Recursive Consolidation of Low-Rank Adapters），一種頻譜感知的遞歸整合框架。ReCoLoRA的設計包含三個關鍵步驟。首先，它通過隨機奇異值分解（SVD）從預訓練權重中初始化適配器，並利用肘部準則為每一層自動選擇有效的秩，從而避免手動調整秩的超參數。在訓練過程中，主成分子空間被優先適應，隨後開放殘差容量以捕獲剩餘信息。
真正讓ReCoLoRA區別於現有方法的是其遞歸整合機制。在每項新任務開始前，ReCoLoRA不是重新使用原始預訓練權重，而是對當前的有效權重進行重新分解。它將權重拆分為三個部分：一個凍結的殘差部分、一個緩慢更新的主成分部分，以及一個全新的適配器。這種設計確保每個新任務都是從已經吸收了先前任務知識的模型狀態開始，從而有效緩解災難性遺忘。
實驗部分，研究者在四個參數規模為7-8B的骨幹網絡（如Llama、Mistral等）上，使用持續GLUE基準的六任務序列進行評測。對比的基線包括LoRA、PiSSA、AdaLoRA和DoRA等主流方法。結果顯示，ReCoLoRA在三個骨幹網絡上取得了最佳平均分數，同時訓練參數量少於或等於對比方法。此外，一個基於任務庫的oracle-routed變體作為完全任務隔離的上界，進一步驗證了ReCoLoRA的有效性。
ReCoLoRA為LLM的持續學習提供了一種高效且可擴展的解決方案。代碼已在GitHub上開源（https://github.com/bhqy666/ReCoLoRA），便於社區復現和進一步探索。該工作發表於arXiv，作者為Wentao Lu，於2026年7月提交。