跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

超越估計:Wiener-informed解碼讓像素空間流模型訓練更輕鬆

文章摘要

研究人員提出Wiener-informed Decoding(WiD),利用凍結的Wiener統計估計和係數接口來加速像素空間流模型的訓練,並提升生成質量。在ImageNet 256×256上,PixelDiT-XL結合WiD在500個epoch後達到FID 1.53,比基線少用37.5%的訓練輪次。

來源arXiv Computer Vision作者: Ziqiao Wang, Yang You
超越估計:Wiener-informed解碼讓像素空間流模型訓練更輕鬆
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在像素空間中直接學習速度場一直是擴散與流匹配模型訓練中的難點:優化過程緩慢,且對訓練步數和架構設計較為敏感。來自Ziqiao Wang等作者的新論文《Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models》提出,粗粒度的二階圖像統計量可以顯著緩解這一問題。研究發現,凍結的Wiener估計不僅能提供顯式的線性預測,還能改善速度場的學習過程,且這種收益超出了線性預測本身所能解釋的範圍。

論文進一步觀察到,凍結基和像素解碼也能帶來類似但互補的增益。基於這些發現,作者提出了Wiener-informed Decoding(WiD)。WiD的核心思想是同時利用統計知識進行直接預測,並藉助統計結構來組織解碼器的計算,而不需要修改原生解碼器模塊。具體而言,WiD將一條可訓練的Wiener預測路徑與係數接口相結合:係數接口把特徵注入原生解碼器,並返回解碼器預測的係數修正量。這些組件均以數據統計量進行初始化,包括頻譜和座標變換在內的所有新增參數都在原始像素空間速度目標下聯合訓練。

實驗表明,WiD在多種模型規模和不同解碼器架構上都能加速訓練並提升生成質量,同時帶來的參數開銷較小。該方法還產生了更平滑的梯度軌跡,並且在結合表示對齊技術時依然有效。在類別條件生成和文本到圖像生成任務中,WiD在不同分辨率下均帶來改進。在ImageNet 256×256基準上,PixelDiT-XL結合WiD在訓練500個epoch後達到FID 1.53,與未使用WiD的PixelDiT達到相當質量所需的時間相比,訓練輪次減少了37.5%。

作者指出,統計去噪器的貢獻不止於其估計值本身:其計算結構也能讓像素空間訓練變得更加容易。這一結論為在像素空間直接訓練生成模型提供了新的思路,即通過引入統計先驗和結構化的解碼接口來降低優化難度,而不必依賴更復雜的架構改動。論文共23頁,屬於計算機視覺與模式識別領域,並涉及人工智能方向。

展開要點與分析

文章情報

研究者進階

要點

  • WiD將可訓練的Wiener預測路徑與係數接口結合,在不修改原生解碼器模塊的情況下組織解碼計算。
  • 在ImageNet 256×256類別條件生成中,PixelDiT-XL搭配WiD在500個epoch後取得FID 1.53,訓練輪次減少37.5%。
  • 該方法在不同模型規模和多種解碼器架構上均能加速訓練並改善生成質量,參數開銷適中。
  • WiD產生更平滑的梯度軌跡,並與表示對齊方法兼容,適用於類別條件和文本到圖像生成。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。