Appleの機械学習研究チームは、事前学習済み視覚表現を画像生成に適した低次元潜在空間に効率的に適応する新しいフレームワークFAE（Feature Auto-Encoder）を提案しました。従来の視覚生成モデル（拡散モデルなど）は、訓練効率とサンプル品質のバランスを取るために圧縮潜在空間で動作します。同時に、高品質な事前学習済み視覚表現を活用する試みが進んでいますが、理解指向の特徴と生成向け潜在空間の間には根本的なミスマッチがあります。表現エンコーダは多様な仮説を捉える高次元潜在空間を好む一方、生成モデルは注入ノイズを忠実に保存する低次元潜在空間を必要とします。この不一致が、先行研究において複雑な目的関数とアーキテクチャの採用につながっていました。
FAEの核心は、単一のアテンション層のみでこの適応を実現しつつ、再構築と理解に十分な情報を保持することです。このフレームワークは2つの独立した深層デコーダを結合します。1つは元の特徴空間を再構築し、もう1つは再構築された特徴を入力として画像生成を行います。この設計により、FAEは汎用的であり、DINOやSigLIPなどの様々な自己教師ありエンコーダと、拡散モデルや正規化フローの両方の生成モデルファミリに適用可能です。
クラス条件付きおよびテキストから画像へのベンチマークにおいて、FAEは優れた性能を発揮しました。例えば、ImageNet 256×256では、分類器ガイダンス（CFG）付き拡散モデルが800エポックでFID 1.29を達成し、ほぼSOTAに迫りました。80エポックでもFID 1.70を記録しています。CFGなしでは、800エポックと80エポックでそれぞれFID 1.48と2.08を達成し、高品質と高速学習の両立を示しました。
この研究は、生成タスクにおける事前学習済み視覚表現の効率的な活用に新たな道を開くものです。FAEのシンプルさと有効性は、将来の視覚生成モデルの標準的な構成要素となる可能性があり、自己教師ありエンコーダの画像生成への応用に関するさらなる研究を促進することが期待されます。