DeepSeek DSpark：實現LLM速度提升400%的推測解碼技巧

DeepSeek近日推出了名為DSpark的新型推測解碼模塊，旨在加速大型語言模型（LLM）的推理過程。推測解碼通過一個小型草案模型快速預測多個未來token，再由目標模型在單次前向傳播中驗證，從而提升生成速度。然而，傳統方法面臨兩難：草案模型要麼因順序預測而速度慢，要麼因並行預測而缺乏連貫性，導致驗證效率低下。DSpark的核心創新在於提出半自迴歸草案，結合了並行結構（如DFlash）的高速度和序列依賴（如Eagle3）的準確性，通過一個輕量級的馬爾可夫頭僅依賴前一個token和低秩矩陣，幾乎不增加計算開銷。DeepSeek的論文顯示，馬爾可夫頭在複雜性和性能之間取得了最佳平衡，因此被部署到生產環境中。

DeepSeek還開源了DeepSpec工具包，用於訓練和評估各種草案模型，包括DSpark、DFlash和Eagle3。用户可以通過簡單的命令行操作，從配置選擇、數據準備到訓練和評估，復現論文中的基準測試。訓練過程優化了交叉熵、分佈匹配和置信度損失三種損失函數。評估時，通過測量數學、代碼和聊天任務中平均接受的token數量來衡量模型性能。實驗結果表明，在Qwen3-4B、8B和14B以及Gemma4-12B上，DSpark的接受長度分別比Eagle3和DFlash提升27-31%和16-18%，且跨模型架構一致有效。

此外，文章還指出了一些實踐中需要注意的事項，例如聊天任務的置信度下降比代碼更快，動態調度優於靜態閾值，以及草案成本無法回收等。總體而言，DSpark展示了通過巧妙的調度策略而非更大模型或硬件來提升推理速度的潛力，其核心理念“僅驗證具有正期望值的草案”適用於各種推測解碼設置。DSpark的推出不僅為DeepSeek-V4帶來了顯著的加速效果，也為整個LLM推理領域提供了新的思路。開源工具DeepSpec使得研究人員和工程師能夠輕鬆復現和擴展這些方法，進一步推動了推測解碼技術的普及。隨着大語言模型在各類應用中的廣泛部署，推理效率的提升將直接降低運營成本並改善用户體驗。DSpark的成功表明，智能調度和創新的模型設計同樣能帶來顯著性能提升，而不必一味追求更大的模型參數或更先進的硬件。