近日，一篇题为《SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues》的论文在arXiv上发表，提出了一种新颖的视频重拍方法。视频重拍是指从单个单目视频出发，沿用户指定的相机轨迹生成场景的新颖渲染，这在内容创作和视觉特效领域具有重要价值，但也是一个极具挑战的问题。现有基于几何引导的方法通常从源视频重建4D表示，并沿目标轨迹渲染以条件化视频扩散模型。然而，当目标相机轨迹偏离源轨迹较远时，几何引导的性能会急剧下降，导致新暴露的区域变得稀疏甚至完全缺失。为了克服这一局限，研究团队提出了SierpinskiCam，其核心创新在于引入谢尔宾斯基穹顶纹理线索作为几何引导的补充。这种特殊的纹理图案即使在较大的视角变化下也包含丰富的可跟踪特征，从而极大地增强了引导的鲁棒性。
SierpinskiCam的设计灵感来源于谢尔宾斯基三角形的自相似性，通过将这种图案投影到场景的穹顶区域，确保在相机大幅度移动时，新暴露的部分仍然具有足够的纹理信息用于特征匹配。此外，该方法还引入了一种参考视频条件机制，将源视频的令牌附加到目标令牌序列中，并通过负旋转位置编码（RoPE）索引将两个流分开，从而在不改变模型架构或进行逐视频适配的情况下实现了外观基础。这种设计使得模型能够有效利用源视频中的外观信息，生成更加一致和高质量的结果。
广泛的实验表明，SierpinskiCam在多种具有挑战性的重拍场景中，相较于现有方法，在相机可控性、几何一致性以及视频质量方面均取得了显著提升。例如，在户外场景中，相机轨迹大幅摆动时，SierpinskiCam能够保持场景的几何连续性，而基线方法则出现明显的空洞和失真。研究团队还展示了该方法在室内场景和动态物体上的效果，验证了其泛化能力。SierpinskiCam的项目页面已开放，提供了更多细节和演示视频。这一研究为视频重拍领域带来了一种有效的解决方案，尤其适用于需要大范围相机运动的场景，有望推动相关应用的发展。