跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

Chorus II: 跨請求稀疏性重用實現高效影像到影片生成

文章摘要

Chorus II 提出一種跨請求稀疏性重用框架,透過複用歷史請求的稀疏注意力掩碼來避免線上掩碼預測,可選的特徵重用和引導增強進一步保持生成質量,實現2.16倍加速。

來源arXiv Computer Vision作者: Hao Liu, Chenghuan Huang, Hao Liu, Xing Cai, Chen Li, Ziyang Ma, Jing Lyu, Nong Xiao, Jiangsu Du
Chorus II: 跨請求稀疏性重用實現高效影像到影片生成
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Chorus II 是一種針對影像到影片(I2V)生成擴散模型的高效服務框架,由 Hao Liu 等九位研究者共同提出,相關論文於2026年6月23日提交至 arXiv。I2V 生成在現實應用中常面臨計算成本高昂的問題,尤其是當需要大規模部署時。然而,實際工作負載往往包含大量相似請求,例如重複使用的特效模板、相關主題以及常見的鏡頭佈局。現有的跨請求加速方法主要利用這些冗餘進行特徵重用,而 Chorus II 則洞察到另一個關鍵現象:相似請求的稀疏注意力模式也高度一致。

該框架的核心是稀疏性重用,透過共享歷史請求中產生的高質量稀疏掩碼,直接避免了每個請求獨立的線上掩碼預測,從而大幅降低計算開銷。在此基礎上,Chorus II 還提供了可選的特徵重用擴充套件,對高度冗餘的時空區域採用降取樣計算,在保持效率提升的同時減少邊界偽影。為了確保生成質量,框架引入了一個輕量級的引導增強模組,在重用操作後強化影像或文本條件,有效緩解語義漂移和條件遵循問題。

實驗結果表明,在預設的稀疏性重用配置下,Chorus II 能夠在完全保持生成質量的前提下實現 2.16 倍的加速。這一速度提升主要來源於共享稀疏掩碼複用,使得原本耗費大量計算的掩碼預測步驟變為近乎零開銷的邊緣操作。研究者還指出,可選的特徵重用在特定場景下可進一步加速,但需要透過引導增強來補償可能的質量損失。

Chorus II 的工作為大規模部署 I2V 生成服務提供了切實可行的解決方案,尤其適用於內容創作、影視製作和虛擬現實等需要高質量影片生成的領域。未來,研究團隊計劃探索更細粒度的稀疏模式複用策略,以應對更多樣化的請求型別和更復雜的生成任務。該論文的程式碼和資料將在 GitHub 上開源,供社群進一步驗證和擴充套件。

展開要點與分析

文章情報

工程師進階

要點

  • 針對影像到影片生成的擴散模型計算成本高的問題,提出跨請求稀疏性重用。
  • 利用相似請求間一致的稀疏注意力模式,複用歷史稀疏掩碼作為先驗。
  • 可選特徵重用與輕量級引導增強保障語義一致性和條件遵循。
  • 實驗表明預設配置下生成質量不變,速度提升2.16倍。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。