单层足矣：适配预训练视觉编码器用于图像生成
提出FAE（特征自编码器）框架，仅用单个注意力层即可将预训练视觉表示适配为低维生成潜空间，在ImageNet 256×256上达到接近SOTA的FID 1.29（含CFG）和1.48（无CFG），兼顾重建与理解信息。
苹果机器学习研究团队提出了一种名为FAE（Feature Auto-Encoder）的新框架，旨在高效地将预训练视觉表示适配为适合图像生成的低维潜空间。传统的视觉生成模型（例如扩散模型）通常在压缩潜空间中运行，以平衡训练效率与样本质量。同时，学界越来越倾向于利用高质量预训练视觉表示，但理解导向的特征与生成友好的潜空间之间存在根本性不匹配：表示编码器偏好高维潜空间以捕获多种假设（例如被遮蔽区域的多种可能性），而生成模型则需要低维潜空间以忠实地保留注入的噪声。这一矛盾导致先前的工作依赖于复杂的训练目标和网络架构。
FAE的核心创新在于仅使用单个注意力层即可完成适配，同时保留足够的信息用于重建和理解。该框架耦合两个独立的深度解码器：一个解码器负责重建原始的特征空间，另一个解码器则以重建后的特征为输入来生成图像。这种设计使得FAE具有极高的通用性——它可以搭配多种自监督视觉编码器（例如DINO和SigLIP），并嵌入两类主流的生成模型家族：扩散模型和归一化流。
在类条件图像生成和文本到图像生成基准测试中，FAE均表现出色。以ImageNet 256×256数据集为例，采用分类器指导（classifier-free guidance, CFG）的扩散模型在训练800个epoch后获得了FID为1.29的优异分数，接近当时最优水平；即使仅训练80个epoch，FID也能达到1.70。在不使用CFG的情况下，FAE在800个epoch和80个epoch下分别取得了FID 1.48和2.08的成绩，这不仅是当时的最优结果，而且证明了FAE既能保证高质量输出，又能实现快速收敛。
该研究为预训练视觉表示在生成任务中的高效利用提供了全新思路。FAE的简洁性和高效性使其有望成为未来视觉生成模型的标配组件，并推动对自监督编码器在图像生成中潜力的进一步探索。