ReLoRA: 知识复用的自适应方法，加速演化中大语言模型服务部署
大型语言模型（LLM）作为持续演化的服务部署时，基础模型频繁更新会导致先前部署的任务特定低秩适配（LoRA）适配器失效。ReLoRA框架通过知识复用实现高效重新适配，快速恢复服务就绪的LoRA适配器，同时保持或提升任务性能。该框架包含自适应LoRA初始化和带调度正则化的微调两个关键步骤。实验表明，与基线相比，ReLoRA将准备时间缩短最高8.9倍，准确率提升最高4.6%。
大型语言模型（LLM）正越来越多地被部署为持续演化的服务。在这种模式下，基础模型会频繁更新，这给服务提供商带来了一个严峻挑战：先前为特定任务训练的低秩适配（LoRA）适配器可能因为与新基础模型不兼容而失效。对于管理大量下游模型服务的提供商来说，每次基础模型更新后都从头重新训练所有适配器，其计算成本之高会严重延迟服务上线。而简单地将旧适配器直接应用于新模型，又往往导致服务质量下降。
针对这一难题，研究团队提出了ReLoRA框架，一种基于知识复用的重新适配方法。其核心思想是利用已有适配器中的知识和基础模型的演化信息，快速恢复适配器的高质量性能。ReLoRA主要包括两个优化步骤：首先，通过自适应LoRA初始化，使用贝叶斯优化技术，将旧适配器的参数与基础模型的演化差异进行融合，构建一个兼容性良好的初始点；其次，采用带调度正则化的微调策略，初期使用强正则化将适配器快速引导至高质量区域，后期则放松正则化以进行任务特定的精细调整。这种设计使得适配器能在极短的重新适配开销内恢复甚至提升服务性能。
实验结果表明，ReLoRA在不同任务和模型规模上均表现出色。与从头训练等基线方法相比，ReLoRA将适配器恢复至可用状态所需的时间缩短了最高8.9倍，同时准确率提升了最高4.6%。这一成果为LLM作为持续服务的实际部署提供了高效、经济的解决方案，有助于服务提供商快速应对基础模型更新，保持服务质量和竞争力。此外，研究团队还探讨了ReLoRA在多种下游任务上的泛化能力，包括文本分类、问答和代码生成，均取得了显著的加速效果。值得注意的是，ReLoRA对适配器权重的初始化敏感性较低，能够在不同随机种子下稳定地恢复性能，这进一步增强了其实用性。