DeepSeek DSpark：实现LLM速度提升400%的推测解码技巧

DeepSeek近日推出了名为DSpark的新型推测解码模块，旨在加速大型语言模型（LLM）的推理过程。推测解码通过一个小型草案模型快速预测多个未来token，再由目标模型在单次前向传播中验证，从而提升生成速度。然而，传统方法面临两难：草案模型要么因顺序预测而速度慢，要么因并行预测而缺乏连贯性，导致验证效率低下。DSpark的核心创新在于提出半自回归草案，结合了并行结构（如DFlash）的高速度和序列依赖（如Eagle3）的准确性，通过一个轻量级的马尔可夫头仅依赖前一个token和低秩矩阵，几乎不增加计算开销。DeepSeek的论文显示，马尔可夫头在复杂性和性能之间取得了最佳平衡，因此被部署到生产环境中。

DeepSeek还开源了DeepSpec工具包，用于训练和评估各种草案模型，包括DSpark、DFlash和Eagle3。用户可以通过简单的命令行操作，从配置选择、数据准备到训练和评估，复现论文中的基准测试。训练过程优化了交叉熵、分布匹配和置信度损失三种损失函数。评估时，通过测量数学、代码和聊天任务中平均接受的token数量来衡量模型性能。实验结果表明，在Qwen3-4B、8B和14B以及Gemma4-12B上，DSpark的接受长度分别比Eagle3和DFlash提升27-31%和16-18%，且跨模型架构一致有效。

此外，文章还指出了一些实践中需要注意的事项，例如聊天任务的置信度下降比代码更快，动态调度优于静态阈值，以及草案成本无法回收等。总体而言，DSpark展示了通过巧妙的调度策略而非更大模型或硬件来提升推理速度的潜力，其核心理念“仅验证具有正期望值的草案”适用于各种推测解码设置。DSpark的推出不仅为DeepSeek-V4带来了显著的加速效果，也为整个LLM推理领域提供了新的思路。开源工具DeepSpec使得研究人员和工程师能够轻松复现和扩展这些方法，进一步推动了推测解码技术的普及。随着大语言模型在各类应用中的广泛部署，推理效率的提升将直接降低运营成本并改善用户体验。DSpark的成功表明，智能调度和创新的模型设计同样能带来显著性能提升，而不必一味追求更大的模型参数或更先进的硬件。