擴散Transformer（DiT）已經在視頻生成領域取得了令人矚目的成果，但在標準推理過程中，所有令牌都被統一分配相同數量的去噪步驟，這導致了巨大的計算開銷。實際上，人類視覺系統會自然忽略大量冗餘的運動信息，而現有的密集模型卻對每一個時空令牌一視同仁，這顯然是不夠高效的。為了解決這一效率瓶頸，來自約翰霍普金斯大學的研究人員Ernie Chu和Vishal M. Patel提出了異構步分配（Heterogeneous Step Allocation, HSA），這是一種無需額外訓練的推理加速算法。
HSA的核心創新在於根據每個時空令牌的運動速度來動態分配去噪步數預算。具體來説，模型會分析視頻中不同區域的運動速度，對於運動活躍的區域（如人物動作、物體移動），分配更多的去噪步驟以確保細節質量；而對於靜態或緩慢變化的背景區域，則分配較少的步驟，從而大幅減少冗餘計算。然而，這種步數差異化會導致序列長度不一致的問題，因為不同令牌在去噪過程中處於不同的時間步。為了解決這個難題，HSA引入了一種KV緩存同步機制：活躍的令牌可以關注完整的序列信息，而非活躍的令牌則被完全跳過，同時全局上下文信息通過緩存得以保留。此外，HSA還推導了一種緩存歐拉更新方法，能夠在單次前向傳播中推進被跳過令牌的潛在狀態，無需額外的模型評估，從而進一步提升了效率。
研究團隊在Wan-2和LTX-2這兩個先進的視頻生成模型上對HSA進行了全面的評估，涵蓋了文本到視頻（T2V）和圖像到視頻（I2V）兩種任務。實驗結果顯示，HSA在質量與運行時的權衡上顯著優於此前最先進的緩存方法和標準的流匹配基線，尤其是在激進加速的情況下（例如將運行時降低至50%或25%）。更關鍵的是，HSA無需進行昂貴的離線性能分析即可達到這種帕累托最優狀態，即使在嚴格的計算預算下也能穩健地保持視頻的結構完整性和生成質量，避免了以往加速方法中常見的偽影和失真。
這一研究成果的意義深遠。它表明高分辨率、長時長的視頻生成有望在消費級GPU上實現實時運行，這將為內容創作、影視製作、虛擬現實以及遊戲開發等領域帶來革命性的變化。HSA算法的簡潔性和高效性使其易於集成到現有的DiT模型中，無需修改模型架構或重新訓練，從而可以快速推動視頻生成技術的實際應用落地。研究團隊的論文已在arXiv上公開，並提供了項目頁面供進一步參考。