AI News HubLIVE
站内改写1 分钟阅读

PVRF:基于先验调制和速度约束整流流的全能型恶劣天气去除方法

提出PVRF统一框架,结合零样本软天气感知与速度约束整流流优化,通过视觉语言模型估计天气类型和属性分数,引导恢复网络,在保真度和感知质量上超越现有方法,且跨数据集泛化能力强。

来源arXiv Computer Vision作者: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu

现实世界中的图像常受到恶劣天气(如雨、雪、雾等)的影响,导致图像质量下降。现有的去天气方法往往针对单一退化类型设计,且基于失真驱动的训练容易产生过于平滑的结果,缺乏感知质量。为此,研究人员提出了PVRF(Prior-modulated and Velocity-constrained Rectified Flow),一个统一的框架,集成了零样本软天气感知与速度约束整流流优化。

PVRF的核心创新在于引入了针对恶劣天气去除的问答模块(AWR-QA)。该模块利用冻结的视觉语言模型(VLM),无需额外标注即可估计天气类型的软概率以及低层属性分数(如对比度、亮度等)。这些感知信息通过属性调制归一化(AMN)和天气加权适配器(WWA)来调节恢复网络,生成一个锚定估计,用于后续的优化。

在优化阶段,PVRF学习一个终端一致的残差整流流。该整流流包含感知自适应源扰动和终端一致速度参数化,能够稳定终端区域附近的学习过程,从而提升最终恢复质量。与传统的扩散模型相比,整流流方法在采样效率和性能上具有优势。

大量实验表明,PVRF在保真度和感知质量上均优于现有的最佳方法。在单一天气退化(如雨、雾、雪)以及复合退化场景下,PVRF都展现了强大的跨数据集泛化能力。作者还计划在GitHub上公开代码,以促进该领域的研究。

总之,PVRF通过结合视觉语言模型的先验知识和整流流的优化能力,为恶劣天气去除提供了一种高效且通用的解决方案。其零样本感知机制降低了对标注数据的依赖,而速度约束的整流流则保证了高质量的恢复结果。