Baseten 的模型性能團隊近日宣佈，在開源文本到視頻生成模型 Wan 2.2 上實現了里程碑式的推理性能突破。通過多層次的優化組合，他們將單段視頻的生成時間從超過兩分鐘壓縮至不到三秒，實現了 53.6 倍的加速。這一成果使實時視頻生成成為可能，並顯著降低了計算成本，每段視頻的成本從 5 美分降至不到 0.17 美分，成本降低了 31 倍。
團隊採用了三項關鍵技術：時間步蒸餾、自定義內核優化和 NVFP4 量化。時間步蒸餾通過後訓練將擴散步驟從默認的 40 到 80 步減少到僅 4 步，實現了約 20 倍的加速。雖然這會引入一些視覺偽影，但為了實時性能這是必要的。自定義內核優化針對自注意力瓶頸，團隊編寫了自定義 Triton 內核，比默認的 VSA 內核快 1.58 倍，並通過內核融合將多個操作合併，減少了數百次內核啓動開銷。NVFP4 量化將權重從 16 位降至 4 位，在 B200 GPU 上獲得了約 4 倍的張量核心吞吐量提升。這些優化相乘，帶來了整體 53.6 倍的速度提升。
除了推理優化，Baseten 還構建了可擴展的推理基礎設施。由於視頻生成以批大小為 1 運行，水平擴展至關重要。團隊利用 Baseten Delivery Network 加速冷啓動，並實現了自動擴縮容和優先級隊列，確保付費用户請求優先處理。此外，他們訓練了一個自定義分類器作為內容安全護欄，有效防止 NSFW 等不當輸出，分類器在幾毫秒內判斷 prompt 是否允許。
目前，該實時視頻推理服務已作為限時演示開放，用户可免費體驗至 2026 年 7 月 31 日。Baseten 表示，這一演示旨在展示其運行時、基礎設施和安全護欄的綜合能力，並期待與開發者和實驗室合作，推動下一代視頻生成技術。