ピクセル空間で速度場を直接学習することは、拡散モデルやフローマッチングモデルの訓練において難しい課題であり、最適化が遅く、訓練ステップ数やアーキテクチャ設計に敏感であることが知られている。Ziqiao Wangらによる論文「Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models」は、粗い二次画像統計量がこの問題を大きく緩和できることを示している。研究によれば、凍結されたWiener推定は明示的な線形予測を提供するだけでなく、速度場の学習自体を改善し、その効果は線形予測だけでは説明できない範囲に及ぶ。
論文はさらに、凍結基底やピクセルデコーディングからも同様だが相補的な利点が得られることを観察している。これらの知見に基づき、著者らはWiener-informed Decoding（WiD）を提案する。WiDの中心的な考え方は、統計知識を直接予測に利用すると同時に、統計構造を利用してデコーダの計算を組織化することであり、ネイティブデコーダのブロックを変更する必要はない。具体的には、WiDは学習可能なWiener予測パスと係数インターフェースを組み合わせる。係数インターフェースは特徴をネイティブデコーダに注入し、デコーダが予測した係数補正を返す。これらのコンポーネントはデータ統計量で初期化され、スペクトルや座標変換を含むすべての追加パラメータは元のピクセル空間速度目的関数の下で同時に学習される。
実験では、WiDがさまざまなモデル規模とデコーダアーキテクチャにおいて学習を加速し、生成品質を向上させることが示された。追加されるパラメータのオーバーヘッドは適度である。また、WiDはより滑らかな勾配軌跡をもたらし、表現アラインメント技術と組み合わせても有効である。クラス条件付き生成とテキスト-to-画像生成のタスクにおいて、WiDは異なる解像度で改善をもたらす。ImageNet 256×256ベンチマークでは、PixelDiT-XLとWiDの組み合わせが500エポックの学習後にFID 1.53を達成し、WiDなしのPixelDiTが同等の品質に達するのに比べて学習エポックを37.5%削減した。
著者らは、統計的去噪器の貢献はその推定値だけにとどまらないと指摘する。その計算構造自体もピクセル空間での学習を容易にすることができる。この結論は、複雑なアーキテクチャ変更に頼ることなく、統計的事前分布と構造化されたデコーディングインターフェースを導入することで最適化の難易度を下げる、というピクセル空間生成モデル訓練への新たな方向性を示している。論文は全23ページで、コンピュータビジョンとパターン認識の分野に属し、人工知能にも関連している。