跳到主要内容
AI News HubLIVE
更多
仅摘要

DeepSeek发布DSpark:一种投机解码框架,将DeepSeek-V4每用户生成速度提升60-85%

DeepSeek开源了DSpark,一种投机解码框架,通过附加草稿模块到现有DeepSeek-V4权重上。它结合并行草稿骨干和轻量级马尔可夫头以减少后缀衰减,并加入基于置信度的调度验证,根据实时GPU负载调整检查的令牌数量。离线测试中,接受长度比DFlash和Eagle3提升16-31%;生产环境下,每用户生成速度比MTP-1基线提升57-85%,且无损。训练代码库DeepSpec采用MIT许可证。

来源MarkTechPost作者: Asif Razzaq
DeepSeek发布DSpark:一种投机解码框架,将DeepSeek-V4每用户生成速度提升60-85%
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • DSpark结合并行草稿骨干和轻量级马尔可夫头,提高后缀接受率。
  • 基于置信度的验证根据GPU负载动态调整检查令牌数。
  • 离线接受长度比Eagle3提升26-31%,比DFlash提升16-18%;生产速度提升57-85%。
  • 输出无损,检查点和DeepSpec训练代码已开源。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

DeepSeek发布DSpark:一种投机解码框架,将DeepSeek-V4每用户生成速度提升60-85% | AI News Hub