隨著大語言模型（如LLaMA、GPT等）引數規模持續增長，在有限GPU記憶體下進行微調變得越來越困難。低秩適應（LoRA）作為一種廣泛使用的引數高效微調方法，透過僅最佳化低秩適應矩陣大幅減少了可訓練引數數量，從而降低了記憶體壓力。然而，引數開銷降低後，用於反向傳播的啟用值儲存成為主要的記憶體瓶頸。針對這一問題，來自多所機構的研究人員提出了CARE-LoRA（壓縮啟用重建框架），相關論文於2026年7月11日提交至arXiv，程式碼已開源在GitHub上。
CARE-LoRA的核心創新在於資料感知的壓縮啟用重建。它利用LoRA分支固有的投影結構，將完整的輸入啟用替換為LoRA分支自然產生的低秩壓縮啟用。在前向傳播過程中，CARE-LoRA以極低的額外計算成本計算出一個輕量重建矩陣，該矩陣在反向傳播時用於重建梯度訊號，從而保持LoRA矩陣完全可訓練。這一方法無需修改LoRA的基本結構，即可顯著減少啟用記憶體佔用。論文篇幅為15頁，包含2幅圖和12張表格。
研究團隊在多種模型（包括BERT、RoBERTa、Llama）和多項下游任務（如文本分類、問答、自然語言推理）上進行了廣泛實驗。結果顯示，與標準LoRA相比，CARE-LoRA可減少約30%至50%的峰值記憶體使用，同時保持甚至提升模型效能。論文還提供了詳細的消融實驗和理論分析，證明了方法的有效性和魯棒性。
CARE-LoRA的提出具有重要意義。它直接針對LoRA微調中的啟用記憶體瓶頸，使得在相同硬體上可以訓練更大的模型或使用更大的批次。此外，該方法的資料感知特性使其能夠自動適應不同任務和資料分佈。程式碼已在https://github.com/fishandyu/CARE-LoRA公開，便於社群復現與進一步探索。