拡散トランスフォーマー（DiT）は動画生成において最先端の品質を達成しているが、標準的な推論では全てのトークンに均一な数のノイズ除去ステップを適用するため、膨大な計算コストがかかる。人間の視覚は冗長な動きを無視することが知られているが、なぜ高密度モデルは全ての時空間トークンを等しく優先するのだろうか？ この問題に対処するため、ジョンズ・ホプキンス大学のErnie Chu氏とVishal M. Patel氏は、訓練不要の推論アルゴリズムである不均一ステップ割り当て（HSA）を提案した。
HSAの核心は、各時空間トークンの速度に基づいてノイズ除去ステップ数を動的に割り当てることにある。具体的には、動画内の領域ごとに動きの速度を分析し、動きの活発な領域（人物の動作や物体の移動など）には多くのステップを割り当てて詳細を維持し、静的または緩やかに変化する背景領域には少ないステップを割り当てることで、冗長な計算を大幅に削減する。しかし、ステップ数の差異はシーケンス長の不一致を引き起こすため、HSAはKVキャッシュ同期機構を導入する。この機構により、アクティブなトークンは完全なシーケンスに注意を向け、非アクティブなトークンは完全にバイパスされる一方で、グローバルコンテキストはキャッシュを通じて保持される。さらに、HSAはキャッシュオイラー更新を導出し、スキップされたトークンの潜在状態を追加のモデル評価なしに1回の操作で進めることで、効率をさらに向上させる。
研究チームは、Wan-2およびLTX-2モデルを用いて、テキストから動画（T2V）および画像から動画（I2V）生成の両方でHSAを評価した。実験結果は、HSAが従来の最先端キャッシング手法やバニラフローマッチングベースラインを大幅に上回り、特に実行時間50%および25%の積極的な高速化において顕著な性能を示した。重要なことに、HSAは高価なオフラインプロファイリングを必要とせず、厳しい計算予算下でも構造的整合性と生成品質を頑健に維持し、優れた品質-実行時間パレートフロンティアを達成する。
この研究成果は、高解像度・長時間の動画生成がコンシューマーグレードのGPUでリアルタイムに実行可能になる可能性を示している。これにより、コンテンツ制作、映画制作、バーチャルリアリティ、ゲーム開発などの分野に革命的な変化をもたらすことが期待される。HSAの簡潔さと効率性は、既存のDiTモデルへの容易な統合を可能にし、モデルアーキテクチャの変更や再訓練を必要としないため、動画生成技術の実用化を迅速に促進する。研究チームの論文はarXivで公開されており、プロジェクトページも提供されている。