DuSPiT：雙分支子補丁像素擴散Transformer
DuSPiT 是一種新型像素空間擴散Transformer，採用雙分支架構——一個緊湊的基礎分支用於全局推理，一個高容量的像素分支（組織成子補丁組）用於局部細節——通過交叉注意力連接，相比之前的方法生成更豐富的圖像細節並實現更好的質量-效率權衡。
近年來，擴散Transformer在圖像生成領域取得了顯著進展，但多數模型在壓縮的潛在空間中運行，導致信息損失。像素空間擴散可以避免這一問題，但現有方法將每個原始圖像塊映射為單個令牌，迫使單一表示同時處理全局通信和細粒度細節。針對這一侷限，研究人員提出了一種名為DuSPiT的新架構——雙分支子補丁像素Transformer（Dual-Branch Sub-Patch Pixel Transformer）。DuSPiT將全局結構推理與局部外觀建模分離開來。模型包含一個緊湊的基礎分支，用於高效的全局推理，以及一個並行的高容量像素分支，該分支組織成子補丁組，用於保留詳細的圖像外觀。兩個分支通過交叉注意力機制進行交互，從而在全局和局部信息之間實現有效融合。實驗結果表明，DuSPiT生成的圖像具有更豐富的細節和更強的精細結構，同時在質量與效率之間取得了更好的平衡，超越了之前的像素空間擴散Transformer。該論文已提交至arXiv（ID: 2607.18510），作者包括Yunpeng Bai等。這一工作為像素級圖像生成提供了新的思路，有望推動擴散模型在高分辨率圖像合成領域的進一步發展。DuSPiT的提出解決了像素空間擴散Transformer中全局和局部信息編碼衝突的問題，通過解耦設計使得模型能夠同時捕捉圖像的整體結構和高頻細節。未來，該架構可能被擴展到視頻生成或其他視覺任務中，為高質量視覺內容生成提供新的基準。