跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

超越估计:Wiener-informed解码让像素空间流模型训练更轻松

文章摘要

研究人员提出Wiener-informed Decoding(WiD),利用冻结的Wiener统计估计和系数接口来加速像素空间流模型的训练,并提升生成质量。在ImageNet 256×256上,PixelDiT-XL结合WiD在500个epoch后达到FID 1.53,比基线少用37.5%的训练轮次。

来源arXiv Computer Vision作者: Ziqiao Wang, Yang You
超越估计:Wiener-informed解码让像素空间流模型训练更轻松
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在像素空间中直接学习速度场一直是扩散与流匹配模型训练中的难点:优化过程缓慢,且对训练步数和架构设计较为敏感。来自Ziqiao Wang等作者的新论文《Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models》提出,粗粒度的二阶图像统计量可以显著缓解这一问题。研究发现,冻结的Wiener估计不仅能提供显式的线性预测,还能改善速度场的学习过程,且这种收益超出了线性预测本身所能解释的范围。

论文进一步观察到,冻结基和像素解码也能带来类似但互补的增益。基于这些发现,作者提出了Wiener-informed Decoding(WiD)。WiD的核心思想是同时利用统计知识进行直接预测,并借助统计结构来组织解码器的计算,而不需要修改原生解码器模块。具体而言,WiD将一条可训练的Wiener预测路径与系数接口相结合:系数接口把特征注入原生解码器,并返回解码器预测的系数修正量。这些组件均以数据统计量进行初始化,包括频谱和坐标变换在内的所有新增参数都在原始像素空间速度目标下联合训练。

实验表明,WiD在多种模型规模和不同解码器架构上都能加速训练并提升生成质量,同时带来的参数开销较小。该方法还产生了更平滑的梯度轨迹,并且在结合表示对齐技术时依然有效。在类别条件生成和文本到图像生成任务中,WiD在不同分辨率下均带来改进。在ImageNet 256×256基准上,PixelDiT-XL结合WiD在训练500个epoch后达到FID 1.53,与未使用WiD的PixelDiT达到相当质量所需的时间相比,训练轮次减少了37.5%。

作者指出,统计去噪器的贡献不止于其估计值本身:其计算结构也能让像素空间训练变得更加容易。这一结论为在像素空间直接训练生成模型提供了新的思路,即通过引入统计先验和结构化的解码接口来降低优化难度,而不必依赖更复杂的架构改动。论文共23页,属于计算机视觉与模式识别领域,并涉及人工智能方向。

展开要点与分析

文章情报

研究者进阶

要点

  • WiD将可训练的Wiener预测路径与系数接口结合,在不修改原生解码器模块的情况下组织解码计算。
  • 在ImageNet 256×256类别条件生成中,PixelDiT-XL搭配WiD在500个epoch后取得FID 1.53,训练轮次减少37.5%。
  • 该方法在不同模型规模和多种解码器架构上均能加速训练并改善生成质量,参数开销适中。
  • WiD产生更平滑的梯度轨迹,并与表示对齐方法兼容,适用于类别条件和文本到图像生成。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

超越估计:Wiener-informed解码让像素空间流模型训练更轻松 | AI News Hub