長影片生成是人工智慧領域的一項核心挑戰,尤其是生成持續時間超過一分鐘的影片。流式自迴歸擴散模型雖然能夠實現分鐘級的影片合成,但其固有的有限上下文和固定去噪排程導致了資源分配不合理。具體而言,滾動鍵值快取會遺忘遠距離的視覺證據,即使這些證據對後續生成仍然重要;同時,每個生成的塊無論實際難度如何,都獲得相同數量的去噪步驟,造成計算資源的浪費。
為了克服這些限制,由Shuwei Shi等七位研究者提出的《Surprise Forcing: What to Remember, When to Skip in Long Video Generation》引入了一種無需訓練的框架——驚喜強制。該框架將上述兩個問題統一視為線上資源分配問題,透過兩個核心元件實現高效分配。
第一個元件是驚喜門控記憶庫。該記憶庫利用值令牌描述符來總結被驅逐出滾動快取的幀,並透過兩種互補的訊號——全域性偏差(反映幀的整體偏離程度)和最近鄰新穎性(衡量幀與其近鄰的差異)——來評估每個幀的重要性。在此基礎上,系統採用反饋控制的預算機制,在歸一化的得分空間中決定哪些幀可以進入外部記憶庫。優先替換策略和相關性感知路由確保了記憶庫始終保持緊湊且有用,從而保留了關鍵的遠距離視覺資訊。
第二個元件是驚喜感知去噪機制。該機制在第一次去噪步驟後,透過計算相鄰幀之間的最大余弦距離來估計當前塊的生成難度。基於這個難度估計,系統使用區域性百分位排程器,自動跳過那些被認為“容易”的塊的中間去噪步驟,從而將計算資源集中到更困難的塊上。這種自適應排程避免了均勻地去噪所有塊,提升了整體效率。
研究團隊在VBench、VBench-Long和VBench-2.0三個基準上進行了廣泛實驗。結果表明,驚喜強制策略在保持即時流式吞吐量的同時,顯著提升了長影片生成的長時一致性和視覺質量。由於該方法完全無需訓練,它可以輕鬆整合到現有的流式自迴歸擴散模型中,為長影片生成的實際應用提供了即插即用的解決方案。
該論文以技術報告形式於2026年7月20日提交至arXiv,屬於計算機視覺與模式識別領域。其提出的資源分配視角不僅適用於影片生成,也可能對其他序列生成任務中的上下文管理帶來啟發。