DTG-Restore：无需训练的视频超分辨率扩散细化方法
本文提出DTG-Restore，一种无需训练的视频超分辨率框架，通过解耦时间引导（DTG）来利用视频扩散模型先验，增强扭曲和低分辨率视频。该方法在更干净的扩散时间步评估无条件分支，提供前瞻先验，保留几何结构同时抑制扭曲内容的复制。与任何现成的恢复模块即插即用，提升了感知连贯性和结构合理性。同时发布了包含4400个扭曲480p视频的GenWarp480基准测试，专注于生成式退化如扭曲面部、身体错位等。实验表明，该方法在不需重新训练的情况下显著提高了结构保真度和时间稳定性。
近日，一项名为DTG-Restore的新研究为视频超分辨率领域带来了突破性进展。这项由Hidir Yesiltepe及其同事提出的方法，无需任何模型训练即可显著提升低分辨率或扭曲视频的质量，基于视频扩散模型的强大先验知识。
传统方法在利用扩散模型先验进行恢复时，常受限于标准无分类器引导中条件分支与非条件分支的强耦合。DTG-Restore通过创新的解耦时间引导（Decoupled Time Guidance, DTG）巧妙解决了这一问题。其核心思想是在一个更干净的扩散时间步上评估非条件分支，从而获得一个“前瞻”先验。这一先验能够保留视频的几何结构，同时有效抑制扭曲内容的复制。在采样过程中，该时间偏差逐渐减弱，使模型能够从结构校正平滑过渡到细节优化，整个过程无需重新训练。
DTG-Restore的另一个重要优势是其即插即用的灵活性。它可以与任何现成的视频恢复模块无缝结合，显著提升感知连贯性，并在AI生成视频和真实世界视频中都恢复出合理的结构。为了系统评估这类方法的性能，研究团队还精心构建了GenWarp480基准测试集。该数据集包含从多种文本到视频模型生成的4400个扭曲480p视频，专门针对典型的生成式退化问题，如扭曲的面部、身体错位和空间伪影，为评估算法对生成错误的鲁棒性提供了专门的测试平台。
大量实验表明，DTG-Restore在不进行任何模型训练的情况下，在结构保真度和时间稳定性方面均取得了显著改进。这项工作为视频恢复领域提供了一种高效且实用的新思路，尤其适用于处理由生成模型引入的复杂退化。