キャリブレーションされたスパース注意によるテキストからビデオ生成の高速化

近年の拡散モデルは高品質なビデオ生成を可能にしているが、実行速度が遅いという問題がある。これらのモデルで使用される大規模トランスフォーマーベースのバックボーンは、時空間注意によってボトルネックが生じている。本論文では、多くのトークン間接続が様々な入力に対して一貫して無視できるスコアを持ち、そのパターンがクエリ間で繰り返されることを特定した。したがって、これらの注意計算は結果にほとんど影響を与えずにスキップできる。この観察は局所トークンブロック間の接続にも当てはまる。これに動機づけられ、著者らは訓練不要の手法CalibAttを導入する。CalibAttはオフラインキャリブレーションパスを実行し、入力間で安定したブロックレベルのスパース性と繰り返しパターンを特定し、これらのパターンを各層、ヘッド、拡散タイムステップの最適化された注意操作にコンパイルする。推論時には、選択した入力依存の接続を密に計算し、選択されなかったものをハードウェア効率の良い方法でスキップする。Wan 2.1 14B、Mochi 1、および様々な解像度の数ステップ蒸留モデルでの広範な実験により、CalibAttは最大1.58倍のエンドツーエンド高速化を達成し、既存の訓練不要手法を上回りつつ、ビデオ生成品質とテキスト-ビデオの整合性を維持することが示された。本研究はテルアビブ大学とAppleの共同研究であり、リアルタイムビデオ生成アプリケーションに効率的で実用的なソリューションを提供する。