視頻擴散模型（VDMs）在生成高質量視頻方面表現出色，但其高昂的計算成本嚴重限制了實際應用。近年來，少步蒸餾技術通過減少推理所需的去噪步驟，顯著加速了生成過程。然而，這些方法通常在整個去噪階段採用靜態模型架構，忽略了不同噪聲水平下計算需求的差異。例如，在早期高噪聲階段可能需要更多的計算資源來重建結構，而在後期低噪聲階段，細節優化所需的計算量相對較小。針對這一冗餘問題，來自研究團隊的最新論文《Dynamic-in-Few-Step: Unifying Dynamic Computation and Few-Step Distillation for Efficient Video Generation》提出了一種創新的後訓練加速框架，通過將動態結構稀疏化直接融入蒸餾過程，充分利用了不同時間步的計算需求差異。
與傳統的後處理壓縮方法（如在固定擴散流水線上應用剪枝或量化）不同，該框架聯合優化去噪步驟和結構化模型稀疏性。具體而言，它將預訓練的VDM轉化為一個緊湊的、步驟特定的混合模型（MoM）。MoM的核心思想是為每個去噪步驟學習一個專門的稀疏子網絡，從而在保持生成質量的同時減少計算量。為了應對聯合優化帶來的訓練不穩定性，研究人員引入了一種漸進訓練策略，並結合輸出滾動機制，確保跨時間步的結構決策能夠連貫學習，避免因稀疏模式突變導致的生成質量下降。此外，他們還開發了一個專門的推理引擎，以高效部署生成的MoM，實現實際推理加速。
該方法的優勢在於其正交性，可以與現有的少步蒸餾、模型剪枝或量化等技術相結合，效果顯著。在Wan-14B模型上的實驗表明，在4步蒸餾的基礎上，該方法額外移除了24%的每步FLOPs，帶來了1.2倍的實際牆鍾加速，相比原始的50步教師模型實現了30倍的加速，同時保持了具有競爭力的生成質量。這一工作為高效視頻生成開闢了新途徑，有望推動擴散模型在實時視頻生成、交互式應用等場景中的部署。