跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

SyncVid:用于同步视频生成的世界等变扩散模型

文章摘要

SyncVid 提出一种新的视频扩散同步思路:它不依赖相机嵌入或跨视角注意力等架构机制,而是把高斯噪声先验采样到由源视频构建的规范 3D 空间中,再光栅化到目标相机视角,从而在随机性的源头保证跨视角与时空一致性。该方法基于 LoRA 适配的预训练视频扩散模型,无需修改架构。

来源arXiv Computer Vision作者: Farhad G. Zanjani, Animesh Karnewar, Fatih Porikli, Amirhossein Habibian
SyncVid:用于同步视频生成的世界等变扩散模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

从单段参考视频出发,为同一动态场景合成多个不同视角的视频,是一项颇具挑战的任务:模型不仅要重建参考视角中已观测到的内容,还必须在其他视角下合理地推断出从未被看到的区域,并且保证这些内容在时间与空间上都彼此一致。现有的视频扩散相机控制方法大多从网络架构入手,例如引入相机嵌入、跨视角注意力或几何条件约束。这些手段在处理静态场景时表现尚可,但面对精细而快速变化的动态几何时往往力不从心,难以让同一物体在不同视角、不同时刻保持连贯的形态。

Qualcomm AI Research 的 Farhad G. Zanjani 等作者提出的 SyncVid 尝试换一个切入点:与其在网络结构上添加约束,不如直接同步扩散过程本身。传统做法是在每个 2D 图像平面上独立采样高斯噪声,各视角之间天然缺乏关联;SyncVid 则把噪声先验采样到由源视频推导出的规范 3D 空间中,再将其光栅化到各个目标相机视角。换言之,随机性的产生位置从相互独立的图像平面,转移到了一个共享的世界坐标系中。

在具体实现上,该方法先将单目视频提升为规范的 4D 表示,使噪声与场景几何以及尚未观测的空间建立关联,随后把这种结构化噪声渲染到任意目标视角。由于渲染过程本身可能引入局部相关性,研究团队进一步设计了跨视角一致的 whiten(白化)流程:它对相邻像素进行去相关处理,同时保留不同视角之间的对应关系,从而避免噪声在渲染后失去应有的统计特性。

处理后的结构化噪声被用作扩散先验,驱动一个经过 LoRA 适配的预训练视频扩散模型。这一设计的显著优势在于无需对原有架构做任何修改,从而可以直接复用已有的强大视频生成骨干网络。通过在随机性的源头施加时空与跨视角一致性,SyncVid 能够生成彼此同步的多视角视频。实验显示,该方法在感知质量与跨视角一致性两方面均有提升。

该论文提交于 2026 年 10 月 22 日,共 28 页、8 幅图、9 张表,属于计算机视觉与模式识别方向,并提供了项目主页供读者查看演示与更多结果。

展开要点与分析

文章情报

工程师进阶

要点

  • 将单目视频提升为规范 4D 表示,使噪声与场景几何及未观测空间关联
  • 提出跨视角一致的 whiten(白化)过程,去除渲染带来的局部相关,同时保留视角间对应关系
  • 以 LoRA 适配预训练视频扩散模型,不改变原有网络架构

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。