DuSPiT：雙分支子補丁畫素擴散Transformer
DuSPiT 是一種新型畫素空間擴散Transformer，採用雙分支架構——一個緊湊的基礎分支用於全域性推理，一個高容量的畫素分支（組織成子補丁組）用於區域性細節——透過交叉注意力連線，相比之前的方法生成更豐富的影像細節並實現更好的質量-效率權衡。
近年來，擴散Transformer在影像生成領域取得了顯著進展，但多數模型在壓縮的潛在空間中執行，導致資訊損失。畫素空間擴散可以避免這一問題，但現有方法將每個原始影像塊對映為單個令牌，迫使單一表示同時處理全域性通訊和細粒度細節。針對這一侷限，研究人員提出了一種名為DuSPiT的新架構——雙分支子補丁畫素Transformer（Dual-Branch Sub-Patch Pixel Transformer）。DuSPiT將全域性結構推理與區域性外觀建模分離開來。模型包含一個緊湊的基礎分支，用於高效的全域性推理，以及一個並行的高容量畫素分支，該分支組織成子補丁組，用於保留詳細的影像外觀。兩個分支透過交叉注意力機制進行互動，從而在全域性和區域性資訊之間實現有效融合。實驗結果表明，DuSPiT生成的影像具有更豐富的細節和更強的精細結構，同時在質量與效率之間取得了更好的平衡，超越了之前的畫素空間擴散Transformer。該論文已提交至arXiv（ID: 2607.18510），作者包括Yunpeng Bai等。這一工作為畫素級影像生成提供了新的思路，有望推動擴散模型在高解析度影像合成領域的進一步發展。DuSPiT的提出解決了畫素空間擴散Transformer中全域性和區域性資訊編碼衝突的問題，透過解耦設計使得模型能夠同時捕捉影像的整體結構和高頻細節。未來，該架構可能被擴充套件到影片生成或其他視覺任務中，為高質量視覺內容生成提供新的基準。