DeepSeek发布DSpark:一种投机解码框架,将DeepSeek-V4每用户生成速度提升60-85%
DeepSeek开源了DSpark,一种投机解码框架,通过附加草稿模块到现有DeepSeek-V4权重上。它结合并行草稿骨干和轻量级马尔可夫头以减少后缀衰减,并加入基于置信度的调度验证,根据实时GPU负载调整检查的令牌数量。离线测试中,接受长度比DFlash和Eagle3提升16-31%;生产环境下,每用户生成速度比MTP-1基线提升57-85%,且无损。训练代码库DeepSpec采用MIT许可证。
DeepSeek发布DSpark:一种投机解码框架,将DeepSeek-V4每用户生成速度提升60-85%
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。