投機的デコーディング（Speculative Decoding, SD）は、自己回帰型大規模言語モデル（LLM）を高速化する手法として広く使われています。小さなドラフトモデルが複数のトークンを生成し、ターゲットモデルがそれらを並列に検証するという仕組みです。しかし、この手法にはスケーリング上の限界があります。ドラフト予算を増やしても、受け入れ率が高く保たれ、かつドラフトのオーバーヘッドが低い場合にしか速度向上は見込めません。従来のヘッドベースSD手法は「因果性と効率のジレンマ」に直面していました。自己回帰ドラフターはパス条件付きの候補を生成するため、ツリー投機的デコーディングの受け入れ長を伸ばすのに有効ですが、ドラフトコストがツリーの深さとともに増大します。一方、双方向ブロック拡散ドラフターは全位置を一度に生成できますが、ブランチに依存しない周辺分布は、個々にはもっともらしくても相互に矛盾するツリーを形成し、予算を浪費して受け入れ率を低下させます。
この問題に対処するため、論文ではJetFlowというヘッドベースのSDフレームワークを提案しています。JetFlowは、単一フォワードのドラフト効率とブランチ単位の因果条件付けを両立させます。凍結されたターゲットモデルからの融合隠れ状態上で因果並列ドラフトヘッドを訓練し、ターゲットモデルの自己回帰分解とスコアが整合する候補ツリーを生成します。これにより、より大きなドラフト予算を、より長い受け入れプレフィックスと高いエンドツーエンド高速化に変換することが可能になります。
著者らは、高密度およびMoEバージョンのQwen3モデルを用いて、数学、コーディング、チャットのベンチマークで評価を行いました。実験結果は、JetFlowが双方向ヘッドベースラインやツリーベースSDベースラインを一貫して上回ることを示しています。H100 GPU上では、MATH-500で最大9.64倍、オープンエンド会話ワークロードで4.58倍の高速化を達成しました。さらに、vLLMとの統合により、実際のサービング負荷下でも追加のレイテンシ改善が確認されています。
本論文は2026年6月16日に投稿され、Lanxiang Huら11名による共著です。コードとモデルはGitHub（https://github.com/hao-ai-lab/JetFlow）で公開されています。この研究は、投機的デコーディングのスケーラビリティ問題に対する有効な解決策を提供し、大規模言語モデルの推論加速技術のさらなる発展に寄与する可能性があります。