动态少步生成：统一动态计算与少步蒸馏的高效视频生成框架
视频扩散模型虽生成质量高，但计算成本高昂。现有少步蒸馏技术加速推理，却忽略了不同噪声水平下的计算需求差异。本文提出一种后训练加速框架，将动态结构稀疏化直接融入蒸馏过程，联合优化去噪步骤与模型稀疏性，将预训练模型转化为紧凑、步骤特定的混合模型（MoM）。通过渐进训练策略和输出滚动机制解决联合优化不稳定性，并开发专用推理引擎。在Wan-14B模型上，该方法在4步蒸馏基础上额外减少24%的每步FLOPs，实现1.2倍实际加速，相比50步教师模型达到30倍加速，同时保持竞争性生成质量。
视频扩散模型（VDMs）在生成高质量视频方面表现出色，但其高昂的计算成本严重限制了实际应用。近年来，少步蒸馏技术通过减少推理所需的去噪步骤，显著加速了生成过程。然而，这些方法通常在整个去噪阶段采用静态模型架构，忽略了不同噪声水平下计算需求的差异。例如，在早期高噪声阶段可能需要更多的计算资源来重建结构，而在后期低噪声阶段，细节优化所需的计算量相对较小。针对这一冗余问题，来自研究团队的最新论文《Dynamic-in-Few-Step: Unifying Dynamic Computation and Few-Step Distillation for Efficient Video Generation》提出了一种创新的后训练加速框架，通过将动态结构稀疏化直接融入蒸馏过程，充分利用了不同时间步的计算需求差异。
与传统的后处理压缩方法（如在固定扩散流水线上应用剪枝或量化）不同，该框架联合优化去噪步骤和结构化模型稀疏性。具体而言，它将预训练的VDM转化为一个紧凑的、步骤特定的混合模型（MoM）。MoM的核心思想是为每个去噪步骤学习一个专门的稀疏子网络，从而在保持生成质量的同时减少计算量。为了应对联合优化带来的训练不稳定性，研究人员引入了一种渐进训练策略，并结合输出滚动机制，确保跨时间步的结构决策能够连贯学习，避免因稀疏模式突变导致的生成质量下降。此外，他们还开发了一个专门的推理引擎，以高效部署生成的MoM，实现实际推理加速。
该方法的优势在于其正交性，可以与现有的少步蒸馏、模型剪枝或量化等技术相结合，效果显著。在Wan-14B模型上的实验表明，在4步蒸馏的基础上，该方法额外移除了24%的每步FLOPs，带来了1.2倍的实际墙钟加速，相比原始的50步教师模型实现了30倍的加速，同时保持了具有竞争力的生成质量。这一工作为高效视频生成开辟了新途径，有望推动扩散模型在实时视频生成、交互式应用等场景中的部署。