擴散Transformer（DiT）已經在影片生成領域取得了令人矚目的成果，但在標準推理過程中，所有令牌都被統一分配相同數量的去噪步驟，這導致了巨大的計算開銷。實際上，人類視覺系統會自然忽略大量冗餘的運動資訊，而現有的密集模型卻對每一個時空令牌一視同仁，這顯然是不夠高效的。為了解決這一效率瓶頸，來自約翰霍普金斯大學的研究人員Ernie Chu和Vishal M. Patel提出了異構步分配（Heterogeneous Step Allocation, HSA），這是一種無需額外訓練的推理加速演算法。
HSA的核心創新在於根據每個時空令牌的運動速度來動態分配去噪步數預算。具體來說，模型會分析影片中不同區域的運動速度，對於運動活躍的區域（如人物動作、物體移動），分配更多的去噪步驟以確保細節質量；而對於靜態或緩慢變化的背景區域，則分配較少的步驟，從而大幅減少冗餘計算。然而，這種步數差異化會導致序列長度不一致的問題，因為不同令牌在去噪過程中處於不同的時間步。為了解決這個難題，HSA引入了一種KV快取同步機制：活躍的令牌可以關注完整的序列資訊，而非活躍的令牌則被完全跳過，同時全域性上下文資訊透過快取得以保留。此外，HSA還推導了一種快取尤拉更新方法，能夠在單次前向傳播中推進被跳過令牌的潛在狀態，無需額外的模型評估，從而進一步提升了效率。
研究團隊在Wan-2和LTX-2這兩個先進的影片生成模型上對HSA進行了全面的評估，涵蓋了文本到影片（T2V）和影像到影片（I2V）兩種任務。實驗結果顯示，HSA在質量與執行時的權衡上顯著優於此前最先進的快取方法和標準的流匹配基線，尤其是在激進加速的情況下（例如將執行時降低至50%或25%）。更關鍵的是，HSA無需進行昂貴的離線效能分析即可達到這種帕累托最優狀態，即使在嚴格的計算預算下也能穩健地保持影片的結構完整性和生成質量，避免了以往加速方法中常見的偽影和失真。
這一研究成果的意義深遠。它表明高解析度、長時長的影片生成有望在消費級GPU上實現即時執行，這將為內容創作、影視製作、虛擬現實以及遊戲開發等領域帶來革命性的變化。HSA演算法的簡潔性和高效性使其易於整合到現有的DiT模型中，無需修改模型架構或重新訓練，從而可以快速推動影片生成技術的實際應用落地。研究團隊的論文已在arXiv上公開，並提供了專案頁面供進一步參考。