利用校準稀疏注意力加速文本到視頻生成

近年來，擴散模型在高質量視頻生成領域取得了顯著進展，但其運行速度緩慢的問題一直困擾着實際應用。這些模型通常採用大型Transformer骨幹網絡，其中的時空注意力機制成為計算瓶頸。本文的研究者發現，在注意力計算中，大量token之間的連接分數在不同輸入下始終趨近於零，並且這些模式在查詢之間重複出現。這一觀察表明，這些連接可以被安全跳過，對最終結果幾乎沒有影響。值得注意的是，這種規律同樣適用於局部token塊之間的連接。基於這一發現，研究者提出了CalibAtt——一種無需訓練的稀疏注意力方法。CalibAtt通過離線校準環節識別出逐層、逐頭、逐時間步的塊級稀疏性和重複模式，並將這些模式編譯為優化的注意力操作。在推理階段，模型僅對輸入相關的連接進行密集計算，其餘連接則以硬件高效的方式跳過。實驗在Wan 2.1 14B、Mochi 1以及多種分辨率下的少步蒸餾模型上進行，結果顯示CalibAtt最高可實現1.58倍的端到端加速，優於現有的免訓練方法，同時保持視頻生成質量與文本-視頻對齊。該研究由特拉維夫大學和蘋果公司合作完成，為實時視頻生成應用提供了高效實用的解決方案。