DeepSeek DSpark：LLMを400%高速化する投機的デコードのトリック

DeepSeekは、大規模言語モデル（LLM）の推論を高速化する新しい投機的デコードモジュール「DSpark」を発表しました。投機的デコードでは、小型のドラフトモデルが複数の将来トークンを予測し、ターゲットモデルが1回のフォワードパスで検証することで生成速度を向上させます。しかし従来手法では、ドラフトモデルが逐次的で遅いか、並列的で不正確かのジレンマがありました。DSparkの革新は、並列構造（DFlashなど）の高速性と系列依存（Eagle3など）の正確性を組み合わせた「半自己回帰ドラフト」にあります。具体的には、先行トークンと低ランク行列のみに依存する軽量なマルコフヘッドを用い、ほぼオーバーヘッドなく系列の一貫性を向上させます。DeepSeekの論文によれば、マルコフヘッドはRNNヘッドと同等の利点を低い複雑性で実現するため、本番環境に採用されました。

DeepSeekはまた、DSpark、DFlash、Eagle3など様々なドラフトモデルの訓練・評価を可能にするオープンソースツールキット「DeepSpec」を公開しています。ユーザーは設定ファイルを選び、データを準備し、訓練と評価をコマンドラインで実行できます。訓練では交差エントロピー損失、分布マッチング損失、信頼度損失の三つを同時に最適化。評価では数学、コード、チャットのタスクで平均受理トークン数を測定します。実験結果は顕著で、Qwen3-4BモデルにおいてDSparkの受理長はEagle3より27～31%、DFlashより16～18%向上。この改善はQwen3-8B、14B、Gemma4-12Bでも一貫して確認され、アーキテクチャに依存しない利点を示しています。

実運用上の注意点として、チャットはコードより信頼度低下が速いため動的スケジューリングが必須、静的な閾値は時代遅れ、因果律違反は不可能、公表された倍率（例：661%）は理想条件下のもので実際のスループット向上は60～85%程度であること、ドラフトコストは回収できないことなどが挙げられます。DSparkは、より大きなモデルやハードウェアに頼らず、インテリジェントなスケジューリングで推論を高速化する好例です。その核となる「正の期待値を持つものだけを検証する」という考え方は、あらゆる投機的デコード設定に応用可能です。DSparkの登場により、DeepSeek-V4の推論速度が大幅に向上し、コスト効率も改善されました。DeepSpecのオープンソース化により、研究者やエンジニアは容易にこの技術を試し、改善できます。大規模言語モデルの実用化が進む中、推論効率の向上は運用コスト削減とユーザー体験向上に直結します。DSparkは、必ずしも巨大なモデルや高価なハードウェアに頼らなくても、賢い設計とスケジューリングで性能を引き出せることを示しています。