DeepSeek DSpark：實現LLM速度提升400%的推測解碼技巧

DeepSeek近日推出了名為DSpark的新型推測解碼模組，旨在加速大型語言模型（LLM）的推理過程。推測解碼透過一個小型草案模型快速預測多個未來token，再由目標模型在單次前向傳播中驗證，從而提升生成速度。然而，傳統方法面臨兩難：草案模型要麼因順序預測而速度慢，要麼因並行預測而缺乏連貫性，導致驗證效率低下。DSpark的核心創新在於提出半自迴歸草案，結合了並行結構（如DFlash）的高速度和序列依賴（如Eagle3）的準確性，透過一個輕量級的馬爾可夫頭僅依賴前一個token和低秩矩陣，幾乎不增加計算開銷。DeepSeek的論文顯示，馬爾可夫頭在複雜性和效能之間取得了最佳平衡，因此被部署到生產環境中。

DeepSeek還開源了DeepSpec工具包，用於訓練和評估各種草案模型，包括DSpark、DFlash和Eagle3。使用者可以透過簡單的命令列操作，從配置選擇、資料準備到訓練和評估，復現論文中的基準測試。訓練過程最佳化了交叉熵、分佈匹配和置信度損失三種損失函式。評估時，透過測量數學、程式碼和聊天任務中平均接受的token數量來衡量模型效能。實驗結果表明，在Qwen3-4B、8B和14B以及Gemma4-12B上，DSpark的接受長度分別比Eagle3和DFlash提升27-31%和16-18%，且跨模型架構一致有效。

此外，文章還指出了一些實踐中需要注意的事項，例如聊天任務的置信度下降比程式碼更快，動態排程優於靜態閾值，以及草案成本無法回收等。總體而言，DSpark展示了透過巧妙的排程策略而非更大模型或硬體來提升推理速度的潛力，其核心理念“僅驗證具有正期望值的草案”適用於各種推測解碼設定。DSpark的推出不僅為DeepSeek-V4帶來了顯著的加速效果，也為整個LLM推理領域提供了新的思路。開源工具DeepSpec使得研究人員和工程師能夠輕鬆復現和擴充套件這些方法，進一步推動了推測解碼技術的普及。隨著大語言模型在各類應用中的廣泛部署，推理效率的提升將直接降低運營成本並改善使用者體驗。DSpark的成功表明，智慧排程和創新的模型設計同樣能帶來顯著效能提升，而不必一味追求更大的模型引數或更先進的硬體。