本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

いつノイズ除去するかを学習する:潜拡散の非同期スケジュール最適化

記事の要約

本論文は、多表現拡散モデルにおける非同期ノイズ除去スケジュールを学習する手法を提案する。スケジュール補正目的関数と凸で単調なパラメータ化を導入し、追加計算量1%未満で学習する。ImageNet 256x256で、200エポックでFID 1.05(800エポックのベースラインと同等)、600エポックでFID 1.02(10億パラメータモデルを上回る)。非誘導設定でも大幅な改善。

ソースarXiv Computer Vision著者: Bingshuo Qian, Xiang Cheng
いつノイズ除去するかを学習する:潜拡散の非同期スケジュール最適化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

多表現拡散モデルは、画像の複数の補完的表現(例えば変分オートエンコーダーで抽出された潜在特徴)を同時にノイズ除去することで視覚合成の品質を向上させる。各表現をいつノイズ除去するかは非同期スケジュールによって決まるが、従来の固定スケジュールではモデルの潜在能力を十分に引き出せない。arXivの新しい論文は、このスケジュール自体を学習する手法を提案している。

研究者らは、複数の表現空間上での非同期フローマッチングを定式化し、スケジュール補正目的関数を設計した。この関数の鍵は、スケジュールが変化しても各表現の局所ノイズ時間重みが固定される点であり、学習の一貫性を保証する。スケジュールは凸性と単調性を構造的に保証する柔軟なパラメータクラスで表現され、高速ジョイントプローブにより追加計算量1%未満で学習される。

ImageNet 256x256データセットにおいて、675MパラメータのXLバックボーンを使用した実験では、学習されたスケジュールが収束速度と最終品質を大幅に向上させた。AutoGuidance設定では、200エポックのモデルがFID 1.05を達成し、800エポックのSFD-XLベースラインと同等でありながら訓練量は4分の1であった。600エポックまで訓練するとFIDは1.02に改善し、10億パラメータのSFD-XXL(FID 1.04)を上回った。非誘導設定でも、200エポックのモデルがFID 2.37(最良の800エポックSFD-XLの2.54を下回る)を達成し、600エポックではFID 2.14に向上した。

これらの結果は、非同期スケジュールの学習により、少ない訓練コストで高品質な画像生成が可能であることを示している。コードはGitHubで公開されており、今後の研究の基盤を提供する。さらに論文では、スケジュールパラメータの解釈可能性や他の拡散モデルとの互換性についても議論されている。著者らは、本手法が画像生成だけでなく、マルチモーダル処理や非同期処理が必要な他の分野にも拡張可能であると指摘している。将来的には、より複雑なスケジュールパラメータ化の探求や、ビデオ拡散モデルへの応用が期待される。本フレームワークは汎用性が高く、異なるベースモデルや表現空間に適応できるため、拡散モデルの学習ダイナミクスに対する理解を深め、効率的な高品質画像生成の新たな道を開くものである。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 多表現拡散モデルの非同期スケジュール学習を提案
  • スケジュール補正目的と凸単調パラメータ化
  • 200エポックでFID 1.05、訓練量4倍削減
  • 600エポックでFID 1.02、より大規模モデルを凌駕

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。