扩散Transformer（DiT）已经在视频生成领域取得了令人瞩目的成果，但在标准推理过程中，所有令牌都被统一分配相同数量的去噪步骤，这导致了巨大的计算开销。实际上，人类视觉系统会自然忽略大量冗余的运动信息，而现有的密集模型却对每一个时空令牌一视同仁，这显然是不够高效的。为了解决这一效率瓶颈，来自约翰霍普金斯大学的研究人员Ernie Chu和Vishal M. Patel提出了异构步分配（Heterogeneous Step Allocation, HSA），这是一种无需额外训练的推理加速算法。
HSA的核心创新在于根据每个时空令牌的运动速度来动态分配去噪步数预算。具体来说，模型会分析视频中不同区域的运动速度，对于运动活跃的区域（如人物动作、物体移动），分配更多的去噪步骤以确保细节质量；而对于静态或缓慢变化的背景区域，则分配较少的步骤，从而大幅减少冗余计算。然而，这种步数差异化会导致序列长度不一致的问题，因为不同令牌在去噪过程中处于不同的时间步。为了解决这个难题，HSA引入了一种KV缓存同步机制：活跃的令牌可以关注完整的序列信息，而非活跃的令牌则被完全跳过，同时全局上下文信息通过缓存得以保留。此外，HSA还推导了一种缓存欧拉更新方法，能够在单次前向传播中推进被跳过令牌的潜在状态，无需额外的模型评估，从而进一步提升了效率。
研究团队在Wan-2和LTX-2这两个先进的视频生成模型上对HSA进行了全面的评估，涵盖了文本到视频（T2V）和图像到视频（I2V）两种任务。实验结果显示，HSA在质量与运行时的权衡上显著优于此前最先进的缓存方法和标准的流匹配基线，尤其是在激进加速的情况下（例如将运行时降低至50%或25%）。更关键的是，HSA无需进行昂贵的离线性能分析即可达到这种帕累托最优状态，即使在严格的计算预算下也能稳健地保持视频的结构完整性和生成质量，避免了以往加速方法中常见的伪影和失真。
这一研究成果的意义深远。它表明高分辨率、长时长的视频生成有望在消费级GPU上实现实时运行，这将为内容创作、影视制作、虚拟现实以及游戏开发等领域带来革命性的变化。HSA算法的简洁性和高效性使其易于集成到现有的DiT模型中，无需修改模型架构或重新训练，从而可以快速推动视频生成技术的实际应用落地。研究团队的论文已在arXiv上公开，并提供了项目页面供进一步参考。