跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

RealVDeblur:一步式扩散实现可泛化的真实世界视频去模糊

文章摘要

RealVDeblur是一种高效的生成框架,通过基于3D高斯泼溅的物理模糊合成管道生成逼真训练数据,并利用视频扩散先验和一步式扩散蒸馏,实现真实世界视频去模糊。该方法在未知视频上展现出强感知质量、语义保真度和时间一致性,并提升了严重运动模糊下下游3D重建的鲁棒性。

来源arXiv Computer Vision作者: Renbiao Jin, Mingxin Yang, Yutian Chen, Junhao Zhuang, Xin Cai, Mulin Yu, Linning Xu, Wenxian Yu, Danping Zou, Shi Guo, Tianfan Xue
RealVDeblur:一步式扩散实现可泛化的真实世界视频去模糊
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

真实世界视频去模糊因运动模式多样、退化复杂及训练数据匮乏而极具挑战。针对此问题,Renbiao Jin等人提出了RealVDeblur,一种高效的生成框架,旨在提升模型在不同真实拍摄条件下的鲁棒性。

该方法首先构建了一个大规模、物理驱动的模糊合成管道。通过场景级3D高斯泼溅(3DGS)资产和高帧率视频,生成了覆盖相机抖动和物体运动模糊的逼真训练数据。该管道通过动态场景重建和高帧率采样,能够模拟各种复杂的运动模糊模式,弥补了现有数据集与实际模糊之间的差距,为模型提供了更丰富的学习信号。与传统合成方法相比,物理模糊合成管道生成的训练数据具有更高的逼真度和多样性,使得模型在真实场景中表现出更强的泛化能力。

在恢复阶段,RealVDeblur利用了视频扩散先验的强大生成能力。为了处理逐帧变化的模糊,方法禁用了VAE中的时间压缩,并采用逐帧编码方案。这一设计避免了帧间信息的混叠,保留了帧内的独立细节,从而能够更好地适应帧依赖的模糊变化。视频扩散先验在潜在空间中进行迭代去噪,逐步恢复清晰的视频帧,同时保持全局语义一致性。

针对长视频的实际部署需求,研究团队通过知识蒸馏将多步扩散采样过程压缩为高效的一步生成器。这一蒸馏过程通过最小化教师模型(多步扩散)与学生模型(一步生成器)之间的输出差异,使得学生模型能够在极少的采样步数内达到与教师模型相当的性能。此外,还引入了一种无需训练的时间窗口掩码(Temporal Window Mask),该掩码通过在时间维度上应用滑动窗口策略,使得推理能够在训练时间范围外稳定进行,同时保持恒定的内存占用。这一创新使得RealVDeblur能够高效处理任意长度的视频序列,而无需担心内存溢出或性能下降。

实验在多种真实世界基准上进行,包括户外场景、手持摄影和快速运动等条件。结果显示,RealVDeblur在未知视频上取得了显著的感知质量、语义保真度和时间一致性。尤其在严重运动模糊场景下,该框架提升了下游3D重建的鲁棒性,验证了其在实际应用中的价值。代码和项目页面已公开,可供研究者复现和进一步改进。未来,这一框架有望应用于移动成像、视频监控和增强现实等领域,推动真实世界视频处理技术的进步。

展开要点与分析

文章情报

工程师进阶

要点

  • 利用3DGS和高帧率视频构建大规模物理逼真模糊合成管道。
  • 采用逐帧编码的视频扩散先验,无时间压缩,适应帧依赖模糊变化。
  • 将多步扩散蒸馏为一步生成器,并引入免训练时间窗口掩码,实现高效长视频处理。
  • 在多个真实世界基准测试中表现优异,并改善了下游3D重建的鲁棒性。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。