GS-RealBlur:一种用于真实世界图像去模糊的灵活数据采集框架
GS-RealBlur是一种新颖的数据采集框架,能够以灵活的方式获取真实模糊-清晰图像对,用于训练图像去模糊模型。它使用手持相机拍摄模糊图像,用云台密集拍摄清晰图像,重建3D场景表示,并通过模糊感知姿态精化模块优化相机姿态。基于GS-RealBlur数据集训练的模型在多个基准测试中均优于现有合成和真实数据集训练的模型。
图像去模糊是计算机视觉中的经典问题,高质量的成对模糊-清晰图像数据对于训练基于学习的去模糊模型至关重要。然而,合成模糊图像往往缺乏真实感,而真实世界捕获的图像对则需要复杂且不灵活的相机系统。针对这一矛盾,来自多所机构的研究人员提出了GS-RealBlur框架,在保证模糊真实性的同时实现了数据采集的灵活性。
GS-RealBlur的核心思路是分步采集:使用手持相机拍摄模糊图像,同时利用云台对该场景进行密集的清晰图像捕获。随后,从一系列清晰图像中重建出场景的3D表示,并将每一帧模糊图像的相机姿态在该3D空间中进行标定。根据姿态从3D表示中渲染出的图像即为对应的清晰参考图像。为了进一步提升渲染图像与模糊图像的对齐精度,研究团队引入了模糊感知姿态精化模块(BPR),通过外观一致性和质心对齐约束优化姿态估计。该模块能够有效减少由于模糊导致的姿态误差,从而生成更准确的清晰参考图像。
基于GS-RealBlur框架,研究人员构建了一个高质量、多样化的数据集,包含多种场景和运动模式。大量实验表明,在该数据集上训练的去模糊模型在多个真实世界去模糊基准上均取得了出色的泛化性能,一致优于在现有合成或真实数据集上训练的模型。该框架的代码和数据集将公开发布,为图像去模糊领域的研究提供了新的有力工具。研究者认为,GS-RealBlur不仅解决了数据采集的灵活性难题,还提升了模型的泛化能力,有望推动图像去模糊技术的实际应用。