DeepSeek釋出DSpark:一種投機解碼框架,將DeepSeek-V4每使用者生成速度提升60-85%
DeepSeek開源了DSpark,一種投機解碼框架,透過附加草稿模組到現有DeepSeek-V4權重上。它結合並行草稿骨幹和輕量級馬爾可夫頭以減少字尾衰減,並加入基於置信度的排程驗證,根據即時GPU負載調整檢查的令牌數量。離線測試中,接受長度比DFlash和Eagle3提升16-31%;生產環境下,每使用者生成速度比MTP-1基線提升57-85%,且無損。訓練程式碼庫DeepSpec採用MIT許可證。
DeepSeek釋出DSpark:一種投機解碼框架,將DeepSeek-V4每使用者生成速度提升60-85%
本文僅提供摘要
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。