在像素空間中直接學習速度場一直是擴散與流匹配模型訓練中的難點:優化過程緩慢,且對訓練步數和架構設計較為敏感。來自Ziqiao Wang等作者的新論文《Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models》提出,粗粒度的二階圖像統計量可以顯著緩解這一問題。研究發現,凍結的Wiener估計不僅能提供顯式的線性預測,還能改善速度場的學習過程,且這種收益超出了線性預測本身所能解釋的範圍。
論文進一步觀察到,凍結基和像素解碼也能帶來類似但互補的增益。基於這些發現,作者提出了Wiener-informed Decoding(WiD)。WiD的核心思想是同時利用統計知識進行直接預測,並藉助統計結構來組織解碼器的計算,而不需要修改原生解碼器模塊。具體而言,WiD將一條可訓練的Wiener預測路徑與係數接口相結合:係數接口把特徵注入原生解碼器,並返回解碼器預測的係數修正量。這些組件均以數據統計量進行初始化,包括頻譜和座標變換在內的所有新增參數都在原始像素空間速度目標下聯合訓練。
實驗表明,WiD在多種模型規模和不同解碼器架構上都能加速訓練並提升生成質量,同時帶來的參數開銷較小。該方法還產生了更平滑的梯度軌跡,並且在結合表示對齊技術時依然有效。在類別條件生成和文本到圖像生成任務中,WiD在不同分辨率下均帶來改進。在ImageNet 256×256基準上,PixelDiT-XL結合WiD在訓練500個epoch後達到FID 1.53,與未使用WiD的PixelDiT達到相當質量所需的時間相比,訓練輪次減少了37.5%。
作者指出,統計去噪器的貢獻不止於其估計值本身:其計算結構也能讓像素空間訓練變得更加容易。這一結論為在像素空間直接訓練生成模型提供了新的思路,即通過引入統計先驗和結構化的解碼接口來降低優化難度,而不必依賴更復雜的架構改動。論文共23頁,屬於計算機視覺與模式識別領域,並涉及人工智能方向。