動画拡散モデル（VDM）は高品質な動画生成を実現する一方、その計算コストは非常に高く、実用化の大きな障壁となっています。近年、数ステップ蒸留技術により推論の高速化が進められていますが、これらの手法は通常、すべてのノイズ除去段階で静的なモデルアーキテクチャを強制し、ノイズレベルごとに異なる計算需要を無視しています。例えば、初期の高ノイズ段階では構造再構築により多くの計算が必要となる一方、後期の低ノイズ段階では細部の最適化に要する計算量は比較的少なくて済みます。この冗長性に着目し、研究チームは最新の論文「Dynamic-in-Few-Step: Unifying Dynamic Computation and Few-Step Distillation for Efficient Video Generation」において、動的構造スパース化を蒸留プロセスに直接統合する新しい後訓練加速フレームワークを提案しました。
従来の後処理圧縮（固定拡散パイプラインへの剪定や量子化など）とは異なり、本アプローチはノイズ除去ステップと構造化モデルスパース性を共同最適化します。具体的には、事前訓練されたVDMをコンパクトでステップ固有の混合モデル（MoM）に変換します。MoMの核心は、各ノイズ除去ステップに対して専門のスパース部分ネットワークを学習し、生成品質を維持しながら計算量を削減することです。共同最適化に伴う訓練の不安定性を解決するため、出力ロールアウト機構を備えた漸進的訓練戦略を導入し、時間ステップ全体で構造決定の一貫した学習を保証し、スパースパターンの急変による生成品質の低下を防ぎます。さらに、生成されたMoMを効率的に展開するための専用推論エンジンも開発され、実際の推論高速化を実現します。
本手法は既存の加速技術（数ステップ蒸留、モデル剪定、量子化など）と直交しており、組み合わせることでさらなる効果が期待できます。Wan-14Bモデルでの実験では、4ステップ蒸留に加えて1ステップあたりのFLOPsを24%削減し、壁時計で1.2倍の高速化を実現、元の50ステップ教師モデルと比較して30倍の速度向上を達成しながら、競争力のある生成品質を維持しています。この研究は、効率的な動画生成の新たな道を開き、リアルタイム動画生成やインタラクティブアプリケーションへの拡散モデル展開を促進するものと期待されます。