蘋果機器學習研究團隊提出了一種名為FAE（Feature Auto-Encoder）的新框架，旨在高效地將預訓練視覺表示適配為適合影像生成的低維潛空間。傳統的視覺生成模型（例如擴散模型）通常在壓縮潛空間中執行，以平衡訓練效率與樣本質量。同時，學界越來越傾向於利用高質量預訓練視覺表示，但理解導向的特徵與生成友好的潛空間之間存在根本性不匹配：表示編碼器偏好高維潛空間以捕獲多種假設（例如被遮蔽區域的多種可能性），而生成模型則需要低維潛空間以忠實地保留注入的噪聲。這一矛盾導致先前的工作依賴於複雜的訓練目標和網路架構。
FAE的核心創新在於僅使用單個注意力層即可完成適配，同時保留足夠的資訊用於重建和理解。該框架耦合兩個獨立的深度解碼器：一個解碼器負責重建原始的特徵空間，另一個解碼器則以重建後的特徵為輸入來生成影像。這種設計使得FAE具有極高的通用性——它可以搭配多種自監督視覺編碼器（例如DINO和SigLIP），並嵌入兩類主流的生成模型家族：擴散模型和歸一化流。
在類條件影像生成和文本到影像生成基準測試中，FAE均表現出色。以ImageNet 256×256資料集為例，採用分類器指導（classifier-free guidance, CFG）的擴散模型在訓練800個epoch後獲得了FID為1.29的優異分數，接近當時最優水平；即使僅訓練80個epoch，FID也能達到1.70。在不使用CFG的情況下，FAE在800個epoch和80個epoch下分別取得了FID 1.48和2.08的成績，這不僅是當時的最優結果，而且證明了FAE既能保證高質量輸出，又能實現快速收斂。
該研究為預訓練視覺表示在生成任務中的高效利用提供了全新思路。FAE的簡潔性和高效性使其有望成為未來視覺生成模型的標配元件，並推動對自監督編碼器在影像生成中潛力的進一步探索。