跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

ReLoRA:面向演进式LLM服务快速部署的知识复用适配框架

文章摘要

ReLoRA是一个知识复用的再适配框架,通过贝叶斯优化构建兼容性感知的LoRA初始化,并结合调度正则化微调,快速恢复演进式LLM服务中的任务适配器性能。实验表明,相比基线方法,ReLoRA将就绪时间最多缩短8.9倍,准确率最高提升4.6%。

来源arXiv Machine Learning作者: Yang Xu, Zihuai Xu, Hongli Xu, Yunming Liao, Zhiwei Yao, Xitong Fu
ReLoRA:面向演进式LLM服务快速部署的知识复用适配框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

随着大型语言模型(LLM)作为持续演进的服务被广泛部署,基座模型的频繁更新常常导致先前部署的任务特定低秩适配器(LoRA)失效。对于管理大量下游模型服务的提供商而言,为每个更新的基座模型从头重新训练每个LoRA适配器在计算上代价高昂,并且会延迟服务上线。与此同时,一种更简单的替代方案——直接将原始LoRA适配器应用于更新后的基座模型——往往因适配器与骨干网络不兼容而导致服务质量下降。

为了解决这一问题,Yang Xu等六位作者提出了一种名为ReLoRA的知识复用再适配框架,旨在为演进中的LLM服务高效恢复服务就绪的LoRA适配器,同时保持或提升任务性能。该工作以预印本形式发布在arXiv上(arXiv:2606.02606v1),提交于2026年5月23日,属于机器学习(cs.LG)和人工智能(cs.AI)领域。

ReLoRA包含两个关键优化步骤。第一步是自适应LoRA初始化:它利用贝叶斯优化,通过融合先前部署的任务适配器信息与基座模型的演进信息,构建一个兼容性感知的起点。第二步是带调度正则化的微调:首先通过强正则化快速将适配器引导至高质量区域,随后放松正则化以进行任务特定的精调。这种设计能够在减少再适配开销的同时,快速恢复服务质量。

研究团队进行了大量实验,结果表明,与基线方法相比,ReLoRA将就绪时间(time-to-readiness)最多缩短了8.9倍,并将准确率最高提升了4.6%。这一成果对于需要频繁更新基座模型并管理众多下游任务适配器的LLM服务提供商具有重要意义,有望显著降低运维成本并加速服务迭代。

该论文的完整文本可通过arXiv获取,包括PDF和实验性HTML版本。论文标题为《ReLoRA: Knowledge-Reusing Adaptation for Fast Rollout of Evolving LLM Services》,作者为Yang Xu等六人,提交历史显示该版本为v1,于2026年5月23日15:56:16 UTC提交。

展开要点与分析

文章情报

工程师进阶

要点

  • ReLoRA通过贝叶斯优化融合旧适配器与基座模型演进信息,构建兼容性感知的LoRA初始化。
  • 采用先强后弱的调度正则化微调策略,快速将适配器引导至高质量区域并进行任务精调。
  • 实验显示就绪时间最多减少8.9倍,准确率最高提升4.6%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。