大規模言語モデルのポストトレーニングにおいて、強化学習（RL）は推論能力を向上させる重要な技術となっています。しかし、モデルが大きくなるにつれて、「ロールアウト」と呼ばれるフェーズが主要なボトルネックになりつつあります。ロールアウトでは、バッチ内の各プロンプトに対して完全な応答シーケンスを生成する必要があり、最も遅い生成がステップ全体の時間を決定します。これにより、ほとんどのシーケンスは早期に終了する一方で、少数の異常に長いシーケンス（ストラグラー）がバッチ全体を待たせ、GPUが遊休状態になるというロングテール問題が発生します。統計によると、ロールアウトはトレーニング時間の最大70%を消費し、逆伝播とパラメータ更新の合計を上回ります。
このボトルネックに対処するため、研究者らは分散認識型投機的復号（DAS）フレームワークを提案しました。DASは2つのコアコンポーネント、すなわち適応型サフィックスツリードラフターと長さ認識スケジューリング戦略を通じて大幅な高速化を実現します。適応型サフィックスツリードラフターは、最近のロールアウト軌跡からサフィックスツリーを構築し、現在のコンテキストと履歴をマッチングして投機的ドラフトを生成します。勾配更新を必要としないため、ポリシーの進化に合わせて自己適応でき、常に最新のポリシーと同期します。長さ認識スケジューリングは、GPU間の負荷分散（長いシーケンスが単一ワーカーに集中するのを防ぐ）と、GPU内の予算配分（履歴統計に基づいてリクエストを長・中・短に動的に分類し、異なる投機予算を割り当てる）から構成されます。
実験結果によると、DASは数学推論タスク（DeepSeek-R1-Distill-Qwen-7Bを使用）においてロールアウト時間を50%以上削減し、報酬曲線はベースラインと完全に一致しました。コード生成タスク（Qwen3-8Bを使用）では約25%の高速化を達成し、報酬品質も維持されました。さらに、DASの利点はさまざまなシーケンス長（8k–16k）やバッチサイズ（16–32）でも保持され、その堅牢性が確認されました。
DASには3つの特筆すべき特性があります。第一に、損失のない高速化——出力は標準復号と同一で、トレーニング曲線も変わりません。第二に、設定に対する堅牢性——速度向上は多様な構成で有効です。第三に、ゼロコスト適応——ドラフターがロールアウト履歴から自己進化し、勾配更新やメンテナンスが不要です。AIコミュニティがますます大規模なモデルをRLで訓練するにつれ、ロールアウトのボトルネックはさらに深刻化するでしょう。DASは、モデル品質を損なうことなく計算コストを最大50%削減する有力な手段を提供します。