长视频生成是人工智能领域的一项核心挑战,尤其是生成持续时间超过一分钟的视频。流式自回归扩散模型虽然能够实现分钟级的视频合成,但其固有的有限上下文和固定去噪调度导致了资源分配不合理。具体而言,滚动键值缓存会遗忘远距离的视觉证据,即使这些证据对后续生成仍然重要;同时,每个生成的块无论实际难度如何,都获得相同数量的去噪步骤,造成计算资源的浪费。
为了克服这些限制,由Shuwei Shi等七位研究者提出的《Surprise Forcing: What to Remember, When to Skip in Long Video Generation》引入了一种无需训练的框架——惊喜强制。该框架将上述两个问题统一视为在线资源分配问题,通过两个核心组件实现高效分配。
第一个组件是惊喜门控记忆库。该记忆库利用值令牌描述符来总结被驱逐出滚动缓存的帧,并通过两种互补的信号——全局偏差(反映帧的整体偏离程度)和最近邻新颖性(衡量帧与其近邻的差异)——来评估每个帧的重要性。在此基础上,系统采用反馈控制的预算机制,在归一化的得分空间中决定哪些帧可以进入外部记忆库。优先替换策略和相关性感知路由确保了记忆库始终保持紧凑且有用,从而保留了关键的远距离视觉信息。
第二个组件是惊喜感知去噪机制。该机制在第一次去噪步骤后,通过计算相邻帧之间的最大余弦距离来估计当前块的生成难度。基于这个难度估计,系统使用局部百分位调度器,自动跳过那些被认为“容易”的块的中间去噪步骤,从而将计算资源集中到更困难的块上。这种自适应调度避免了均匀地去噪所有块,提升了整体效率。
研究团队在VBench、VBench-Long和VBench-2.0三个基准上进行了广泛实验。结果表明,惊喜强制策略在保持实时流式吞吐量的同时,显著提升了长视频生成的长时一致性和视觉质量。由于该方法完全无需训练,它可以轻松集成到现有的流式自回归扩散模型中,为长视频生成的实际应用提供了即插即用的解决方案。
该论文以技术报告形式于2026年7月20日提交至arXiv,属于计算机视觉与模式识别领域。其提出的资源分配视角不仅适用于视频生成,也可能对其他序列生成任务中的上下文管理带来启发。