大型語言模型（LLM）的持續微調面臨一個核心挑戰：災難性遺忘。當模型順序學習多個任務時，新任務往往會覆蓋舊知識，導致先前學到的能力迅速退化。現有的引數高效微調方法，如LoRA，透過在凍結的預訓練權重上堆疊低秩更新來適應新任務。然而，這種方式在任務序列中會不斷累積低秩矩陣，但缺乏對跨任務知識保留的顯式設計，因此每個新任務仍然容易覆蓋之前的任務知識。
針對這一問題，來自研究者團隊提出了ReCoLoRA（Recursive Consolidation of Low-Rank Adapters），一種頻譜感知的遞迴整合框架。ReCoLoRA的設計包含三個關鍵步驟。首先，它透過隨機奇異值分解（SVD）從預訓練權重中初始化介面卡，並利用肘部準則為每一層自動選擇有效的秩，從而避免手動調整秩的超引數。在訓練過程中，主成分子空間被優先適應，隨後開放殘差容量以捕獲剩餘資訊。
真正讓ReCoLoRA區別於現有方法的是其遞迴整合機制。在每項新任務開始前，ReCoLoRA不是重新使用原始預訓練權重，而是對當前的有效權重進行重新分解。它將權重拆分為三個部分：一個凍結的殘差部分、一個緩慢更新的主成分部分，以及一個全新的介面卡。這種設計確保每個新任務都是從已經吸收了先前任務知識的模型狀態開始，從而有效緩解災難性遺忘。
實驗部分，研究者在四個引數規模為7-8B的骨幹網路（如Llama、Mistral等）上，使用持續GLUE基準的六任務序列進行評測。對比的基線包括LoRA、PiSSA、AdaLoRA和DoRA等主流方法。結果顯示，ReCoLoRA在三個骨幹網路上取得了最佳平均分數，同時訓練引數量少於或等於對比方法。此外，一個基於任務庫的oracle-routed變體作為完全任務隔離的上界，進一步驗證了ReCoLoRA的有效性。
ReCoLoRA為LLM的持續學習提供了一種高效且可擴充套件的解決方案。程式碼已在GitHub上開源（https://github.com/bhqy666/ReCoLoRA），便於社群復現和進一步探索。該工作發表於arXiv，作者為Wentao Lu，於2026年7月提交。