Tencentは先日、投機的デコーディング用のドラフトモデルをトレーニングするためのオープンソースのTorchネイティブフレームワーク「AngelSpec」をリリースしました。このフレームワークは、自己回帰型マルチトークン予測（MTP）とブロック並列DFlashファミリーの両方をサポートします。
ほとんどの投機的デコーディング研究は、平均的なベンチマーク混合で良好なスコアを出す単一のドラフターを探しますが、実際のサービストラフィックはそのような混合ではありません。AngelSpecはワークロードの多様性を最優先の設計制約として扱い、構造、トレーニングデータ、検証深度をそれに合わせて特化します。
なぜ単一のユニバーサルドラフターが性能不足になるのか？投機的デコーディングはロスレスです。軽量なドラフターが複数の将来のトークンを提案し、ターゲットモデルが拒否サンプリングを用いて1回のフォワードパスで検証します。加速は、受け入れられるドラフトトークンの数とドラフト検証ラウンドの完了時間の2つに依存します。これらの2つの量はドメイン間で逆方向に動きます。高エントロピーのオープンエンドな会話では、多くの継続が意味的に有効であり、深さとともに受容率が急速に低下します。コードや数学的推論では、プログラミング構文や形式的表現が将来のトークンをより強く制約し、長い予測可能なスパンが生まれ、ブロック並列ドラフティングに適しています。
AngelSpecはしたがって、妥協ではなく2つの相補的なドラフターを提供します。MTPモデルは豊富で多様な会話指向データでトレーニングされ、ブロック拡散モデルはコードおよび数学に焦点を当てたサンプルで強化されます。
MTPパスでは、元のHy3モデルは単一のMTP層と循環的な自己条件付き展開なしでトレーニングされていました。トレーニング目標は長い自己生成チェーンを準備しておらず、深い位置での受容率が低くなります。AngelSpecはパラメータ共有の多深度スキームでこのトレーニングと推論の不一致に対処します。トレーニング中、MTPブロックはDステップで自己回帰的に展開され、各予測が次の呼び出しに入力されます。主な改善点は、ターゲットバックボーンとLMヘッドの凍結、およびターゲットモデルロールアウトによるトレーニングデータの生成です。
Hy3-A21Bでの貪欲デコードにおいて、平均受容率は52.8%から66.4%に、平均受容長は2.58から2.99に向上しました。深い位置での改善は顕著で、GSM8Kではp3が0.290から0.706、HumanEvalでは0.387から0.757に上昇しました。
DFlyはブロック拡散アーキテクチャであり、DFlashに基づき2つの構造変更が加えられています。ハイブリッドターゲット条件付けバックボーンは、DFlashの共有コンテキストとDFlareの層別融合を組み合わせ、先行条件付き自己回帰ヘッドは並列バックボーンの後に配置され、位置ごとの周辺予測を接頭辞条件付き分布に変換します。
初期性能では、Qwen3-8BでDFlyの平均受容長は5.41に達し、DSparkの5.32、DFlashの4.57、MTPの3.24を上回りました。Hy3-A21BではDFlyは4.79を達成し、DFlash比29.8%、MTP比59.7%の相対向上を示しました。
AngelSpecはTorchSpec上に構築され、TTT展開、128Kトークンまでの長コンテキストトレーニング、ドキュメント認識シーケンスパッキング、評価サーバーなどの拡張が実装されています。また、ターゲット（vLLM）、目的関数、最適化器の3レベルでプラグイン可能なインターフェースを提供します。
現在、Hugging FaceとModelScopeで7つのチェックポイントが公開されており、6つのドラフトアーキテクチャのトレーニングをサポートしています。DFlyはHy3-A21Bで平均受容長を4.79に引き上げ、HY3-295B-A21BではDFly-8が自己回帰デコーディング比1.98～2.40倍の高速化を実現。D-cut技術は並行度64でスループットを981 tok/sに向上させ、DFly比+15.7%を達成しました。