arXiv 于 2026 年 4 月 17 日收录了论文《EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation》,编号 arXiv:2605.27390v1,属于 cs.CL(计算与语言)主分类,并交叉列入 cs.AI(人工智能)。论文由 Shuyu Zhang 领衔,共 9 位作者合作完成,提交时间为 2026 年 4 月 17 日 06:16:58 UTC,全文约 304 KB。
研究聚焦于大语言模型推理加速中的投机解码(speculative decoding)。该方法采用“先草稿、后验证”的范式:由较小的草稿模型快速生成候选 token 序列,再由目标模型统一验证,从而在不改变输出分布的前提下提升吞吐。然而作者指出,随着词表规模不断扩大,输出投影层逐渐成为整个流程的瓶颈。现有的静态剪枝方案虽能有效削减这部分开销,却无法捕捉分布随上下文发生的动态漂移,因此在专业领域或话题切换场景下,接受率会急剧下滑。
为解决这一问题,论文提出 EvoSpec 框架,使草稿模型能够在推理过程中实时进化,核心手段是动态词表与参数自适应。与静态剪枝或纯检索式方案不同,EvoSpec 引入上下文感知机制,通过高效的语义索引与统计索引检索关键的长尾 token,从而在专业语境中补齐被静态方法遗漏的词汇。
除词表层面的调整外,作者还设计了一种轻量级在线对齐策略,借助课程学习持续缩小草稿模型与目标模型之间的分布差距,使草稿模型在运行中逐步贴合目标模型的行为。
实验覆盖编程、法律与医学三个专业领域,结果显示 EvoSpec 克服了静态基线的局限。在 EAGLE-3 之上,相较于当前最优的静态基线 FR-Spec,EvoSpec 在上述场景中取得 1.13 倍加速,同时内存开销比标准在线自适应方法低 27%。论文提供了 PDF、实验性 HTML 与 TeX 源码等获取方式,并通过 DataCite 分配 DOI(10.48550/arXiv.2605.27390)。