隨着大語言模型（如LLaMA、GPT等）參數規模持續增長，在有限GPU內存下進行微調變得越來越困難。低秩適應（LoRA）作為一種廣泛使用的參數高效微調方法，通過僅優化低秩適應矩陣大幅減少了可訓練參數數量，從而降低了內存壓力。然而，參數開銷降低後，用於反向傳播的激活值存儲成為主要的內存瓶頸。針對這一問題，來自多所機構的研究人員提出了CARE-LoRA（壓縮激活重建框架），相關論文於2026年7月11日提交至arXiv，代碼已開源在GitHub上。
CARE-LoRA的核心創新在於數據感知的壓縮激活重建。它利用LoRA分支固有的投影結構，將完整的輸入激活替換為LoRA分支自然產生的低秩壓縮激活。在前向傳播過程中，CARE-LoRA以極低的額外計算成本計算出一個輕量重建矩陣，該矩陣在反向傳播時用於重建梯度信號，從而保持LoRA矩陣完全可訓練。這一方法無需修改LoRA的基本結構，即可顯著減少激活內存佔用。論文篇幅為15頁，包含2幅圖和12張表格。
研究團隊在多種模型（包括BERT、RoBERTa、Llama）和多項下游任務（如文本分類、問答、自然語言推理）上進行了廣泛實驗。結果顯示，與標準LoRA相比，CARE-LoRA可減少約30%至50%的峯值內存使用，同時保持甚至提升模型性能。論文還提供了詳細的消融實驗和理論分析，證明了方法的有效性和魯棒性。
CARE-LoRA的提出具有重要意義。它直接針對LoRA微調中的激活內存瓶頸，使得在相同硬件上可以訓練更大的模型或使用更大的批次。此外，該方法的數據感知特性使其能夠自動適應不同任務和數據分佈。代碼已在https://github.com/fishandyu/CARE-LoRA公開，便於社區復現與進一步探索。