跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

驚喜強制:長視頻生成中該記住什麼,何時跳過

文章摘要

驚喜強制是一種無需訓練的框架,通過解決流式自迴歸擴散的兩個限制(有限上下文和固定去噪調度)來改進長視頻生成。它使用驚喜門控記憶庫選擇性保留重要的視覺證據,並通過驚喜感知去噪來跳過簡單塊的去噪步驟。實驗表明,該方法在保持實時吞吐量的同時提高了長期一致性和視覺質量。

來源arXiv Computer Vision作者: Shuwei Shi, Zhen Li, Muyao Niu, Chuanhao Li, Bo Zheng, Kaipeng Zhang, Yinqiang Zheng
驚喜強制:長視頻生成中該記住什麼,何時跳過
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

長視頻生成是人工智能領域的一項核心挑戰,尤其是生成持續時間超過一分鐘的視頻。流式自迴歸擴散模型雖然能夠實現分鐘級的視頻合成,但其固有的有限上下文和固定去噪調度導致了資源分配不合理。具體而言,滾動鍵值緩存會遺忘遠距離的視覺證據,即使這些證據對後續生成仍然重要;同時,每個生成的塊無論實際難度如何,都獲得相同數量的去噪步驟,造成計算資源的浪費。

為了克服這些限制,由Shuwei Shi等七位研究者提出的《Surprise Forcing: What to Remember, When to Skip in Long Video Generation》引入了一種無需訓練的框架——驚喜強制。該框架將上述兩個問題統一視為在線資源分配問題,通過兩個核心組件實現高效分配。

第一個組件是驚喜門控記憶庫。該記憶庫利用值令牌描述符來總結被驅逐出滾動緩存的幀,並通過兩種互補的信號——全局偏差(反映幀的整體偏離程度)和最近鄰新穎性(衡量幀與其近鄰的差異)——來評估每個幀的重要性。在此基礎上,系統採用反饋控制的預算機制,在歸一化的得分空間中決定哪些幀可以進入外部記憶庫。優先替換策略和相關性感知路由確保了記憶庫始終保持緊湊且有用,從而保留了關鍵的遠距離視覺信息。

第二個組件是驚喜感知去噪機制。該機制在第一次去噪步驟後,通過計算相鄰幀之間的最大余弦距離來估計當前塊的生成難度。基於這個難度估計,系統使用局部百分位調度器,自動跳過那些被認為“容易”的塊的中間去噪步驟,從而將計算資源集中到更困難的塊上。這種自適應調度避免了均勻地去噪所有塊,提升了整體效率。

研究團隊在VBench、VBench-Long和VBench-2.0三個基準上進行了廣泛實驗。結果表明,驚喜強制策略在保持實時流式吞吐量的同時,顯著提升了長視頻生成的長時一致性和視覺質量。由於該方法完全無需訓練,它可以輕鬆集成到現有的流式自迴歸擴散模型中,為長視頻生成的實際應用提供了即插即用的解決方案。

該論文以技術報告形式於2026年7月20日提交至arXiv,屬於計算機視覺與模式識別領域。其提出的資源分配視角不僅適用於視頻生成,也可能對其他序列生成任務中的上下文管理帶來啓發。

展開要點與分析

文章情報

研究者進階

要點

  • 流式自迴歸擴散存在有限上下文和固定去噪調度的問題,導致資源均勻分配,遠距離視覺證據被遺忘,而簡單和困難塊獲得相同去噪步數。
  • 驚喜強制將這兩個限制視為在線資源分配問題,無需額外訓練即可集成到現有系統中。
  • 驚喜門控記憶庫通過值令牌描述符總結被驅逐的幀,結合全局偏差和最近鄰新穎性信號評估重要性,並利用反饋控制預算調節准入。
  • 驚喜感知去噪根據相鄰幀的最大余弦距離估計塊難度,使用局部百分位調度器跳過容易塊的中間去噪步驟,從而在不犧牲吞吐量的情況下提升長時一致性和質量。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。