拡散大規模言語モデル（dLLM）は優れた生成品質を誇りますが、その推論効率は並列復号戦略における過度に保守的な信頼度しきい値によって長らく制限されてきました。これらのしきい値は結合確率依存誤差（JPDE）に起因し、新しいトークンを受け入れる際に非常に高い信頼度を要求するため、冗長なノイズ除去反復と最適未満の推論速度を招いています。この課題に取り組むため、研究チームは最新の論文「DC-Leap: Training-Free Acceleration of dLLMs via Draft-Guided Contiguous Leaping Decoding」において、学習不要の高速化フレームワークDC-Leapを提案しました。DC-Leapは、生成品質を犠牲にすることなくdLLMの推論効率を大幅に向上させることを目指しています。
DC-Leapの中心的な革新は、動的連続検証（Dynamic Contiguous Verification）とドラフトガイド復号（Draft-Guided Decoding）の二つのメカニズムにあります。動的連続検証戦略は、並列復号プロセスに厳密に順序付けられた因果制約を組み込み、トークン間の依存関係を段階的に検証することでJPDEの影響を効果的に排除します。従来の固定信頼度しきい値とは異なり、このメカニズムは中程度の信頼度領域でも信頼性の高い高速化を可能にし、過度な保守性による性能低下を回避します。実験では、この戦略によりベースラインメソッドと同等の生成品質を維持しつつ、不要なノイズ除去反復が大幅に削減されることが示されました。
ドラフトガイド復号メカニズムは、さらに高速化効果を高めます。このメカニズムでは、ドラフトモデルを使用して複数トークン先にジャンプし、その後の生成に先読みコンテキストを提供します。これにより、モデルのコンテキストウィンドウが拡張されるだけでなく、推論中の双方向注意の構造的利点が保持され、生成内容の一貫性と連続性が確保されます。ドラフトモデルとメインモデルを協調させることで、DC-Leapはトレーニングコストを増やすことなく効率的な並列復号を実現します。
研究チームは複数の標準ベンチマークで包括的な実験を実施しました。その結果、DC-Leapは長系列生成タスクで特に顕著な性能を発揮しました。例えば、MBPPデータセットでは最大53.19倍の高速化を達成し、KV-Cache技術と組み合わせると高速化比は最大105.02倍に達しました。生成品質はベースラインメソッドとほぼ同等であり、これらの数値はDC-LeapがdLLM高速化において大きな可能性を秘めていることを示しています。
現在、研究者らはDC-LeapのコードをGitHub（https://github.com/ffh-wyls/DC-Leap）で公開しており、コミュニティによる検証とさらなる開発が可能です。この研究は、dLLMの高効率推論に対する新しい実用的なソリューションを提供し、リソース制約のある環境での展開を促進することが期待されます。将来的には、DC-Leapを他のタイプの拡散モデルに拡張し、リアルタイムアプリケーションでの可能性を探る予定です。