Baseten 的模型效能團隊近日宣佈,在開源文本到影片生成模型 Wan 2.2 上實現了里程碑式的推理效能突破。透過多層次的最佳化組合,他們將單段影片的生成時間從超過兩分鐘壓縮至不到三秒,實現了 53.6 倍的加速。這一成果使即時影片生成成為可能,並顯著降低了計算成本,每段影片的成本從 5 美分降至不到 0.17 美分,成本降低了 31 倍。
團隊採用了三項關鍵技術:時間步蒸餾、自定義核心最佳化和 NVFP4 量化。時間步蒸餾透過後訓練將擴散步驟從預設的 40 到 80 步減少到僅 4 步,實現了約 20 倍的加速。雖然這會引入一些視覺偽影,但為了即時效能這是必要的。自定義核心最佳化針對自注意力瓶頸,團隊編寫了自定義 Triton 核心,比預設的 VSA 核心快 1.58 倍,並透過核心融合將多個操作合併,減少了數百次核心啟動開銷。NVFP4 量化將權重從 16 位降至 4 位,在 B200 GPU 上獲得了約 4 倍的張量核心吞吐量提升。這些最佳化相乘,帶來了整體 53.6 倍的速度提升。
除了推理最佳化,Baseten 還構建了可擴充套件的推理基礎設施。由於影片生成以批大小為 1 執行,水平擴充套件至關重要。團隊利用 Baseten Delivery Network 加速冷啟動,並實現了自動擴縮容和優先順序佇列,確保付費使用者請求優先處理。此外,他們訓練了一個自定義分類器作為內容安全護欄,有效防止 NSFW 等不當輸出,分類器在幾毫秒內判斷 prompt 是否允許。
目前,該即時影片推理服務已作為限時演示開放,使用者可免費體驗至 2026 年 7 月 31 日。Baseten 表示,這一演示旨在展示其執行時、基礎設施和安全護欄的綜合能力,並期待與開發者和實驗室合作,推動下一代影片生成技術。