跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

驚喜強制:長影片生成中該記住什麼,何時跳過

文章摘要

驚喜強制是一種無需訓練的框架,透過解決流式自迴歸擴散的兩個限制(有限上下文和固定去噪排程)來改進長影片生成。它使用驚喜門控記憶庫選擇性保留重要的視覺證據,並透過驚喜感知去噪來跳過簡單塊的去噪步驟。實驗表明,該方法在保持即時吞吐量的同時提高了長期一致性和視覺質量。

來源arXiv Computer Vision作者: Shuwei Shi, Zhen Li, Muyao Niu, Chuanhao Li, Bo Zheng, Kaipeng Zhang, Yinqiang Zheng
驚喜強制:長影片生成中該記住什麼,何時跳過
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

長影片生成是人工智慧領域的一項核心挑戰,尤其是生成持續時間超過一分鐘的影片。流式自迴歸擴散模型雖然能夠實現分鐘級的影片合成,但其固有的有限上下文和固定去噪排程導致了資源分配不合理。具體而言,滾動鍵值快取會遺忘遠距離的視覺證據,即使這些證據對後續生成仍然重要;同時,每個生成的塊無論實際難度如何,都獲得相同數量的去噪步驟,造成計算資源的浪費。

為了克服這些限制,由Shuwei Shi等七位研究者提出的《Surprise Forcing: What to Remember, When to Skip in Long Video Generation》引入了一種無需訓練的框架——驚喜強制。該框架將上述兩個問題統一視為線上資源分配問題,透過兩個核心元件實現高效分配。

第一個元件是驚喜門控記憶庫。該記憶庫利用值令牌描述符來總結被驅逐出滾動快取的幀,並透過兩種互補的訊號——全域性偏差(反映幀的整體偏離程度)和最近鄰新穎性(衡量幀與其近鄰的差異)——來評估每個幀的重要性。在此基礎上,系統採用反饋控制的預算機制,在歸一化的得分空間中決定哪些幀可以進入外部記憶庫。優先替換策略和相關性感知路由確保了記憶庫始終保持緊湊且有用,從而保留了關鍵的遠距離視覺資訊。

第二個元件是驚喜感知去噪機制。該機制在第一次去噪步驟後,透過計算相鄰幀之間的最大余弦距離來估計當前塊的生成難度。基於這個難度估計,系統使用區域性百分位排程器,自動跳過那些被認為“容易”的塊的中間去噪步驟,從而將計算資源集中到更困難的塊上。這種自適應排程避免了均勻地去噪所有塊,提升了整體效率。

研究團隊在VBench、VBench-Long和VBench-2.0三個基準上進行了廣泛實驗。結果表明,驚喜強制策略在保持即時流式吞吐量的同時,顯著提升了長影片生成的長時一致性和視覺質量。由於該方法完全無需訓練,它可以輕鬆整合到現有的流式自迴歸擴散模型中,為長影片生成的實際應用提供了即插即用的解決方案。

該論文以技術報告形式於2026年7月20日提交至arXiv,屬於計算機視覺與模式識別領域。其提出的資源分配視角不僅適用於影片生成,也可能對其他序列生成任務中的上下文管理帶來啟發。

展開要點與分析

文章情報

研究者進階

要點

  • 流式自迴歸擴散存在有限上下文和固定去噪排程的問題,導致資源均勻分配,遠距離視覺證據被遺忘,而簡單和困難塊獲得相同去噪步數。
  • 驚喜強制將這兩個限制視為線上資源分配問題,無需額外訓練即可整合到現有系統中。
  • 驚喜門控記憶庫透過值令牌描述符總結被驅逐的幀,結合全域性偏差和最近鄰新穎性訊號評估重要性,並利用反饋控制預算調節准入。
  • 驚喜感知去噪根據相鄰幀的最大余弦距離估計塊難度,使用區域性百分位排程器跳過容易塊的中間去噪步驟,從而在不犧牲吞吐量的情況下提升長時一致性和質量。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。