真实世界视频去模糊因运动模式多样、退化复杂及训练数据匮乏而极具挑战。针对此问题,Renbiao Jin等人提出了RealVDeblur,一种高效的生成框架,旨在提升模型在不同真实拍摄条件下的鲁棒性。
该方法首先构建了一个大规模、物理驱动的模糊合成管道。通过场景级3D高斯泼溅(3DGS)资产和高帧率视频,生成了覆盖相机抖动和物体运动模糊的逼真训练数据。该管道通过动态场景重建和高帧率采样,能够模拟各种复杂的运动模糊模式,弥补了现有数据集与实际模糊之间的差距,为模型提供了更丰富的学习信号。与传统合成方法相比,物理模糊合成管道生成的训练数据具有更高的逼真度和多样性,使得模型在真实场景中表现出更强的泛化能力。
在恢复阶段,RealVDeblur利用了视频扩散先验的强大生成能力。为了处理逐帧变化的模糊,方法禁用了VAE中的时间压缩,并采用逐帧编码方案。这一设计避免了帧间信息的混叠,保留了帧内的独立细节,从而能够更好地适应帧依赖的模糊变化。视频扩散先验在潜在空间中进行迭代去噪,逐步恢复清晰的视频帧,同时保持全局语义一致性。
针对长视频的实际部署需求,研究团队通过知识蒸馏将多步扩散采样过程压缩为高效的一步生成器。这一蒸馏过程通过最小化教师模型(多步扩散)与学生模型(一步生成器)之间的输出差异,使得学生模型能够在极少的采样步数内达到与教师模型相当的性能。此外,还引入了一种无需训练的时间窗口掩码(Temporal Window Mask),该掩码通过在时间维度上应用滑动窗口策略,使得推理能够在训练时间范围外稳定进行,同时保持恒定的内存占用。这一创新使得RealVDeblur能够高效处理任意长度的视频序列,而无需担心内存溢出或性能下降。
实验在多种真实世界基准上进行,包括户外场景、手持摄影和快速运动等条件。结果显示,RealVDeblur在未知视频上取得了显著的感知质量、语义保真度和时间一致性。尤其在严重运动模糊场景下,该框架提升了下游3D重建的鲁棒性,验证了其在实际应用中的价值。代码和项目页面已公开,可供研究者复现和进一步改进。未来,这一框架有望应用于移动成像、视频监控和增强现实等领域,推动真实世界视频处理技术的进步。