跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

EvoSpec:通过实时词汇与参数自适应进化投机解码

文章摘要

EvoSpec 是一个动态调整草稿模型词汇和参数的投机解码框架,在专业领域实现比静态基线 FR-Spec 快 1.13 倍的速度,同时内存开销降低 27%。

来源arXiv Computational Linguistics作者: Shuyu Zhang, Lingfeng Pan, Qicheng Wang, Yaqi Shi, Yueyang Tan, Ruyu Yan, Jiaqi Chen, Lixing Du, Lu Wang
EvoSpec:通过实时词汇与参数自适应进化投机解码
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 4 月 17 日收录了论文《EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation》,编号 arXiv:2605.27390v1,属于 cs.CL(计算与语言)主分类,并交叉列入 cs.AI(人工智能)。论文由 Shuyu Zhang 领衔,共 9 位作者合作完成,提交时间为 2026 年 4 月 17 日 06:16:58 UTC,全文约 304 KB。

研究聚焦于大语言模型推理加速中的投机解码(speculative decoding)。该方法采用“先草稿、后验证”的范式:由较小的草稿模型快速生成候选 token 序列,再由目标模型统一验证,从而在不改变输出分布的前提下提升吞吐。然而作者指出,随着词表规模不断扩大,输出投影层逐渐成为整个流程的瓶颈。现有的静态剪枝方案虽能有效削减这部分开销,却无法捕捉分布随上下文发生的动态漂移,因此在专业领域或话题切换场景下,接受率会急剧下滑。

为解决这一问题,论文提出 EvoSpec 框架,使草稿模型能够在推理过程中实时进化,核心手段是动态词表与参数自适应。与静态剪枝或纯检索式方案不同,EvoSpec 引入上下文感知机制,通过高效的语义索引与统计索引检索关键的长尾 token,从而在专业语境中补齐被静态方法遗漏的词汇。

除词表层面的调整外,作者还设计了一种轻量级在线对齐策略,借助课程学习持续缩小草稿模型与目标模型之间的分布差距,使草稿模型在运行中逐步贴合目标模型的行为。

实验覆盖编程、法律与医学三个专业领域,结果显示 EvoSpec 克服了静态基线的局限。在 EAGLE-3 之上,相较于当前最优的静态基线 FR-Spec,EvoSpec 在上述场景中取得 1.13 倍加速,同时内存开销比标准在线自适应方法低 27%。论文提供了 PDF、实验性 HTML 与 TeX 源码等获取方式,并通过 DataCite 分配 DOI(10.48550/arXiv.2605.27390)。

展开要点与分析

文章情报

工程师进阶

要点

  • EvoSpec 通过上下文感知机制动态检索长尾词汇,并利用课程学习在线对齐草稿模型与目标模型的分布。
  • 在编码、法律和医学领域,EvoSpec 在 EAGLE-3 上比 FR-Spec 快 1.13 倍,内存开销低 27%。
  • 该方法解决了静态剪枝在专业领域和话题切换时接受率骤降的问题。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。