利用校准稀疏注意力加速文本到视频生成

近年来，扩散模型在高质量视频生成领域取得了显著进展，但其运行速度缓慢的问题一直困扰着实际应用。这些模型通常采用大型Transformer骨干网络，其中的时空注意力机制成为计算瓶颈。本文的研究者发现，在注意力计算中，大量token之间的连接分数在不同输入下始终趋近于零，并且这些模式在查询之间重复出现。这一观察表明，这些连接可以被安全跳过，对最终结果几乎没有影响。值得注意的是，这种规律同样适用于局部token块之间的连接。基于这一发现，研究者提出了CalibAtt——一种无需训练的稀疏注意力方法。CalibAtt通过离线校准环节识别出逐层、逐头、逐时间步的块级稀疏性和重复模式，并将这些模式编译为优化的注意力操作。在推理阶段，模型仅对输入相关的连接进行密集计算，其余连接则以硬件高效的方式跳过。实验在Wan 2.1 14B、Mochi 1以及多种分辨率下的少步蒸馏模型上进行，结果显示CalibAtt最高可实现1.58倍的端到端加速，优于现有的免训练方法，同时保持视频生成质量与文本-视频对齐。该研究由特拉维夫大学和苹果公司合作完成，为实时视频生成应用提供了高效实用的解决方案。