利用校準稀疏注意力加速文本到影片生成

近年來，擴散模型在高質量影片生成領域取得了顯著進展，但其執行速度緩慢的問題一直困擾著實際應用。這些模型通常採用大型Transformer骨幹網路，其中的時空注意力機制成為計算瓶頸。本文的研究者發現，在注意力計算中，大量token之間的連線分數在不同輸入下始終趨近於零，並且這些模式在查詢之間重複出現。這一觀察表明，這些連線可以被安全跳過，對最終結果幾乎沒有影響。值得注意的是，這種規律同樣適用於區域性token塊之間的連線。基於這一發現，研究者提出了CalibAtt——一種無需訓練的稀疏注意力方法。CalibAtt透過離線校準環節識別出逐層、逐頭、逐時間步的塊級稀疏性和重複模式，並將這些模式編譯為最佳化的注意力操作。在推理階段，模型僅對輸入相關的連線進行密集計算，其餘連線則以硬體高效的方式跳過。實驗在Wan 2.1 14B、Mochi 1以及多種解析度下的少步蒸餾模型上進行，結果顯示CalibAtt最高可實現1.58倍的端到端加速，優於現有的免訓練方法，同時保持影片生成質量與文本-影片對齊。該研究由特拉維夫大學和蘋果公司合作完成，為即時影片生成應用提供了高效實用的解決方案。