DuSPiT：双分支子补丁像素扩散Transformer
DuSPiT 是一种新型像素空间扩散Transformer，采用双分支架构——一个紧凑的基础分支用于全局推理，一个高容量的像素分支（组织成子补丁组）用于局部细节——通过交叉注意力连接，相比之前的方法生成更丰富的图像细节并实现更好的质量-效率权衡。
近年来，扩散Transformer在图像生成领域取得了显著进展，但多数模型在压缩的潜在空间中运行，导致信息损失。像素空间扩散可以避免这一问题，但现有方法将每个原始图像块映射为单个令牌，迫使单一表示同时处理全局通信和细粒度细节。针对这一局限，研究人员提出了一种名为DuSPiT的新架构——双分支子补丁像素Transformer（Dual-Branch Sub-Patch Pixel Transformer）。DuSPiT将全局结构推理与局部外观建模分离开来。模型包含一个紧凑的基础分支，用于高效的全局推理，以及一个并行的高容量像素分支，该分支组织成子补丁组，用于保留详细的图像外观。两个分支通过交叉注意力机制进行交互，从而在全局和局部信息之间实现有效融合。实验结果表明，DuSPiT生成的图像具有更丰富的细节和更强的精细结构，同时在质量与效率之间取得了更好的平衡，超越了之前的像素空间扩散Transformer。该论文已提交至arXiv（ID: 2607.18510），作者包括Yunpeng Bai等。这一工作为像素级图像生成提供了新的思路，有望推动扩散模型在高分辨率图像合成领域的进一步发展。DuSPiT的提出解决了像素空间扩散Transformer中全局和局部信息编码冲突的问题，通过解耦设计使得模型能够同时捕捉图像的整体结构和高频细节。未来，该架构可能被扩展到视频生成或其他视觉任务中，为高质量视觉内容生成提供新的基准。