拡散言語モデル（dLLM）は、反復的なノイズ除去プロセスを通じて複数のトークンを同時生成する能力により、高度な並列処理が期待されています。しかし、既存のdLLMの並列能力は、各トークンが高い信頼度で条件付き独立であるという仮定に依存しており、これは精度を維持するために厳しい信頼度閾値を必要とします。その結果、並列性の拡張性が著しく制限され、多くのトークンが早期に復号される可能性を逃しています。
Haohui Zhangらの研究チームは、トークンレベルの統計分析を系統的に行い、ノイズ除去の初期段階で多数のトークンが正しい予測に収束しているものの、標準的な信頼度閾値に達していないことを発見しました。これは、現在の信頼度基準が過度に保守的であり、早期収束トークンの活用を妨げていることを示しています。この洞察に基づき、チームはLEAP（Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding）を提案しました。
LEAPは訓練不要でプラグアンドプレイ可能な手法であり、未来コンテキストフィルタリングと複数系列の重ね合わせを組み合わせて早期収束トークンを検出します。未来コンテキストフィルタリングでは、後のノイズ除去ステップの情報を参照して現在のトークンの収束を検証し、複数系列の重ね合わせでは独立したノイズ除去系列間のトークンの一致度を評価することで検出の信頼性を高めます。LEAPはまず早期収束トークンを特定し、それらを待たずに復号することを可能にします。実験により、早期収束と正解との間に高い一致があることが確認され、早期復号の信頼性が保証されました。
多様なドメインでのベンチマークの結果、LEAPは推論遅延と復号ステップ数を大幅に低減しました。信頼度ベースの復号と比較して、平均ノイズ除去ステップ数は約30%削減されました。特にGSM8Kデータセットでは、LEAPを既存のdParallel手法と組み合わせることで、モデル精度を維持しつつ毎秒7.2トークンの復号速度を達成しました。これは、高信頼度の事前分布への依存を打破し、並列復号の新しいパラダイムを提供するものです。LEAPの研究は、より細かいトークンレベルの分析とコンテキスト認識型検出戦略により、品質を犠牲にすることなく並列性の可能性を早期に解放できることを示しています。今後、リアルタイムアプリケーションや大規模展開において重要な役割を果たすことが期待されます。