在像素空间中直接学习速度场一直是扩散与流匹配模型训练中的难点:优化过程缓慢,且对训练步数和架构设计较为敏感。来自Ziqiao Wang等作者的新论文《Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models》提出,粗粒度的二阶图像统计量可以显著缓解这一问题。研究发现,冻结的Wiener估计不仅能提供显式的线性预测,还能改善速度场的学习过程,且这种收益超出了线性预测本身所能解释的范围。
论文进一步观察到,冻结基和像素解码也能带来类似但互补的增益。基于这些发现,作者提出了Wiener-informed Decoding(WiD)。WiD的核心思想是同时利用统计知识进行直接预测,并借助统计结构来组织解码器的计算,而不需要修改原生解码器模块。具体而言,WiD将一条可训练的Wiener预测路径与系数接口相结合:系数接口把特征注入原生解码器,并返回解码器预测的系数修正量。这些组件均以数据统计量进行初始化,包括频谱和坐标变换在内的所有新增参数都在原始像素空间速度目标下联合训练。
实验表明,WiD在多种模型规模和不同解码器架构上都能加速训练并提升生成质量,同时带来的参数开销较小。该方法还产生了更平滑的梯度轨迹,并且在结合表示对齐技术时依然有效。在类别条件生成和文本到图像生成任务中,WiD在不同分辨率下均带来改进。在ImageNet 256×256基准上,PixelDiT-XL结合WiD在训练500个epoch后达到FID 1.53,与未使用WiD的PixelDiT达到相当质量所需的时间相比,训练轮次减少了37.5%。
作者指出,统计去噪器的贡献不止于其估计值本身:其计算结构也能让像素空间训练变得更加容易。这一结论为在像素空间直接训练生成模型提供了新的思路,即通过引入统计先验和结构化的解码接口来降低优化难度,而不必依赖更复杂的架构改动。论文共23页,属于计算机视觉与模式识别领域,并涉及人工智能方向。