随着大型语言模型(LLM)作为持续演进的服务被广泛部署,基座模型的频繁更新常常导致先前部署的任务特定低秩适配器(LoRA)失效。对于管理大量下游模型服务的提供商而言,为每个更新的基座模型从头重新训练每个LoRA适配器在计算上代价高昂,并且会延迟服务上线。与此同时,一种更简单的替代方案——直接将原始LoRA适配器应用于更新后的基座模型——往往因适配器与骨干网络不兼容而导致服务质量下降。
为了解决这一问题,Yang Xu等六位作者提出了一种名为ReLoRA的知识复用再适配框架,旨在为演进中的LLM服务高效恢复服务就绪的LoRA适配器,同时保持或提升任务性能。该工作以预印本形式发布在arXiv上(arXiv:2606.02606v1),提交于2026年5月23日,属于机器学习(cs.LG)和人工智能(cs.AI)领域。
ReLoRA包含两个关键优化步骤。第一步是自适应LoRA初始化:它利用贝叶斯优化,通过融合先前部署的任务适配器信息与基座模型的演进信息,构建一个兼容性感知的起点。第二步是带调度正则化的微调:首先通过强正则化快速将适配器引导至高质量区域,随后放松正则化以进行任务特定的精调。这种设计能够在减少再适配开销的同时,快速恢复服务质量。
研究团队进行了大量实验,结果表明,与基线方法相比,ReLoRA将就绪时间(time-to-readiness)最多缩短了8.9倍,并将准确率最高提升了4.6%。这一成果对于需要频繁更新基座模型并管理众多下游任务适配器的LLM服务提供商具有重要意义,有望显著降低运维成本并加速服务迭代。
该论文的完整文本可通过arXiv获取,包括PDF和实验性HTML版本。论文标题为《ReLoRA: Knowledge-Reusing Adaptation for Fast Rollout of Evolving LLM Services》,作者为Yang Xu等六人,提交历史显示该版本为v1,于2026年5月23日15:56:16 UTC提交。