跳到主要內容
AI News HubLIVE
僅摘要

DeepSeek釋出DSpark:一種投機解碼框架,將DeepSeek-V4每使用者生成速度提升60-85%

DeepSeek開源了DSpark,一種投機解碼框架,透過附加草稿模組到現有DeepSeek-V4權重上。它結合並行草稿骨幹和輕量級馬爾可夫頭以減少字尾衰減,並加入基於置信度的排程驗證,根據即時GPU負載調整檢查的令牌數量。離線測試中,接受長度比DFlash和Eagle3提升16-31%;生產環境下,每使用者生成速度比MTP-1基線提升57-85%,且無損。訓練程式碼庫DeepSpec採用MIT許可證。

來源MarkTechPost作者: Asif Razzaq
DeepSeek釋出DSpark:一種投機解碼框架,將DeepSeek-V4每使用者生成速度提升60-85%
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • DSpark結合並行草稿骨幹和輕量級馬爾可夫頭,提高字尾接受率。
  • 基於置信度的驗證根據GPU負載動態調整檢查令牌數。
  • 離線接受長度比Eagle3提升26-31%,比DFlash提升16-18%;生產速度提升57-85%。
  • 輸出無損,檢查點和DeepSpec訓練程式碼已開源。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。