視覺生成模型的發展長期以來受限於碎片化的架構,這些架構依賴獨立的文本編碼器和外部VAE。最新研究HiDream-O1-Image打破了這一局面,提出了一種原生統一的生成基礎模型。該模型基於畫素空間擴散Transformer,實現了從模組化架構到端到端上下文視覺生成引擎的正規化轉變。
HiDream-O1-Image的核心創新在於其Unified Transformer(UiT)架構。它將原始影像畫素、文本標記和任務特定條件對映到一個單一的共享標記空間中,從而在結構上統一了多模態輸入。這種原生編碼正規化消除了對獨立VAE或預訓練文本編碼器的依賴,使模型能夠將各種生成和編輯任務視為一致的上下文推理過程。
廣泛實驗表明,HiDream-O1-Image在多種生成任務中表現出色,包括文本到影像生成、基於指令的編輯和主題驅動的個性化生成。值得注意的是,儘管只有8B引數,HiDream-O1-Image(8B)的效能與甚至超過了一些引數規模更大的模型(如27B的Qwen-Image)。
為了驗證該正規化的可擴充套件性,研究人員進一步將架構擴充套件到超過200B引數。實驗結果顯示,這一大規模版本HiDream-O1-Image-Pro(200B+)解鎖了前所未有的生成能力,在多個基準測試中創造了新的效能紀錄。
HiDream-O1-Image的成功凸顯了原生統一架構的巨大潛力,為下一代多模態AI指明瞭一條高度可擴充套件的發展路徑。該研究的程式碼和模型已在GitHub和Hugging Face上開源。研究論文由多位作者共同完成,包括Qi Cai、Jingwen Chen等,並於2026年5月11日提交至arXiv。