从单段参考视频出发,为同一动态场景合成多个不同视角的视频,是一项颇具挑战的任务:模型不仅要重建参考视角中已观测到的内容,还必须在其他视角下合理地推断出从未被看到的区域,并且保证这些内容在时间与空间上都彼此一致。现有的视频扩散相机控制方法大多从网络架构入手,例如引入相机嵌入、跨视角注意力或几何条件约束。这些手段在处理静态场景时表现尚可,但面对精细而快速变化的动态几何时往往力不从心,难以让同一物体在不同视角、不同时刻保持连贯的形态。
Qualcomm AI Research 的 Farhad G. Zanjani 等作者提出的 SyncVid 尝试换一个切入点:与其在网络结构上添加约束,不如直接同步扩散过程本身。传统做法是在每个 2D 图像平面上独立采样高斯噪声,各视角之间天然缺乏关联;SyncVid 则把噪声先验采样到由源视频推导出的规范 3D 空间中,再将其光栅化到各个目标相机视角。换言之,随机性的产生位置从相互独立的图像平面,转移到了一个共享的世界坐标系中。
在具体实现上,该方法先将单目视频提升为规范的 4D 表示,使噪声与场景几何以及尚未观测的空间建立关联,随后把这种结构化噪声渲染到任意目标视角。由于渲染过程本身可能引入局部相关性,研究团队进一步设计了跨视角一致的 whiten(白化)流程:它对相邻像素进行去相关处理,同时保留不同视角之间的对应关系,从而避免噪声在渲染后失去应有的统计特性。
处理后的结构化噪声被用作扩散先验,驱动一个经过 LoRA 适配的预训练视频扩散模型。这一设计的显著优势在于无需对原有架构做任何修改,从而可以直接复用已有的强大视频生成骨干网络。通过在随机性的源头施加时空与跨视角一致性,SyncVid 能够生成彼此同步的多视角视频。实验显示,该方法在感知质量与跨视角一致性两方面均有提升。
该论文提交于 2026 年 10 月 22 日,共 28 页、8 幅图、9 张表,属于计算机视觉与模式识别方向,并提供了项目主页供读者查看演示与更多结果。