跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

Baseten 即時影片生成推理:53.6倍加速

文章摘要

Baseten 的模型效能團隊透過時間步蒸餾、自定義核心最佳化和 NVFP4 量化,將 Wan 2.2 影片生成速度提升至每片段 2.75 秒,相比基線實現加速 53.6 倍。

Baseten 即時影片生成推理:53.6倍加速
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Baseten 的模型效能團隊近日宣佈,在開源文本到影片生成模型 Wan 2.2 上實現了里程碑式的推理效能突破。透過多層次的最佳化組合,他們將單段影片的生成時間從超過兩分鐘壓縮至不到三秒,實現了 53.6 倍的加速。這一成果使即時影片生成成為可能,並顯著降低了計算成本,每段影片的成本從 5 美分降至不到 0.17 美分,成本降低了 31 倍。

團隊採用了三項關鍵技術:時間步蒸餾、自定義核心最佳化和 NVFP4 量化。時間步蒸餾透過後訓練將擴散步驟從預設的 40 到 80 步減少到僅 4 步,實現了約 20 倍的加速。雖然這會引入一些視覺偽影,但為了即時效能這是必要的。自定義核心最佳化針對自注意力瓶頸,團隊編寫了自定義 Triton 核心,比預設的 VSA 核心快 1.58 倍,並透過核心融合將多個操作合併,減少了數百次核心啟動開銷。NVFP4 量化將權重從 16 位降至 4 位,在 B200 GPU 上獲得了約 4 倍的張量核心吞吐量提升。這些最佳化相乘,帶來了整體 53.6 倍的速度提升。

除了推理最佳化,Baseten 還構建了可擴充套件的推理基礎設施。由於影片生成以批大小為 1 執行,水平擴充套件至關重要。團隊利用 Baseten Delivery Network 加速冷啟動,並實現了自動擴縮容和優先順序佇列,確保付費使用者請求優先處理。此外,他們訓練了一個自定義分類器作為內容安全護欄,有效防止 NSFW 等不當輸出,分類器在幾毫秒內判斷 prompt 是否允許。

目前,該即時影片推理服務已作為限時演示開放,使用者可免費體驗至 2026 年 7 月 31 日。Baseten 表示,這一演示旨在展示其執行時、基礎設施和安全護欄的綜合能力,並期待與開發者和實驗室合作,推動下一代影片生成技術。

展開要點與分析

文章情報

工程師進階

要點

  • Wan 2.2 影片生成從 2 分鐘以上降至 2.75 秒,成本降低 31 倍
  • 採用時間步蒸餾(4 步)、自定義自注意力核心(1.58 倍加速)和 NVFP4 量化(1.5 倍加速)
  • 構建可擴充套件推理基礎設施,包括自動擴縮容和內容安全護欄
  • 公開演示截至 2026 年 7 月 31 日

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。