CARE-LoRA: 用于内存高效LoRA的压缩激活重建
随着大型预训练模型规模增长，微调中的内存瓶颈日益突出。LoRA通过低秩适应减少参数，但激活值存储成为新的瓶颈。CARE-LoRA利用LoRA投影结构，将完整输入激活替换为低秩压缩激活，并计算轻量重建矩阵用于反向传播，大幅降低内存占用，同时保持或提升性能。
随着大语言模型（如LLaMA、GPT等）参数规模持续增长，在有限GPU内存下进行微调变得越来越困难。低秩适应（LoRA）作为一种广泛使用的参数高效微调方法，通过仅优化低秩适应矩阵大幅减少了可训练参数数量，从而降低了内存压力。然而，参数开销降低后，用于反向传播的激活值存储成为主要的内存瓶颈。针对这一问题，来自多所机构的研究人员提出了CARE-LoRA（压缩激活重建框架），相关论文于2026年7月11日提交至arXiv，代码已开源在GitHub上。
CARE-LoRA的核心创新在于数据感知的压缩激活重建。它利用LoRA分支固有的投影结构，将完整的输入激活替换为LoRA分支自然产生的低秩压缩激活。在前向传播过程中，CARE-LoRA以极低的额外计算成本计算出一个轻量重建矩阵，该矩阵在反向传播时用于重建梯度信号，从而保持LoRA矩阵完全可训练。这一方法无需修改LoRA的基本结构，即可显著减少激活内存占用。论文篇幅为15页，包含2幅图和12张表格。
研究团队在多种模型（包括BERT、RoBERTa、Llama）和多项下游任务（如文本分类、问答、自然语言推理）上进行了广泛实验。结果显示，与标准LoRA相比，CARE-LoRA可减少约30%至50%的峰值内存使用，同时保持甚至提升模型性能。论文还提供了详细的消融实验和理论分析，证明了方法的有效性和鲁棒性。
CARE-LoRA的提出具有重要意义。它直接针对LoRA微调中的激活内存瓶颈，使得在相同硬件上可以训练更大的模型或使用更大的批次。此外，该方法的数据感知特性使其能够自动适应不同任务和数据分布。代码已在https://github.com/fishandyu/CARE-LoRA公开，便于社区复现与进一步探索。