跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

HiDream-O1-Image:原生統一影像生成基礎模型,採用畫素級統一Transformer

文章摘要

HiDream-O1-Image是一種原生統一的視覺生成基礎模型,透過畫素空間擴散Transformer實現了從模組化架構到端到端上下文視覺生成引擎的正規化轉變。它將原始影像畫素、文本標記和任務特定條件對映到單個共享標記空間,消除了對獨立VAE或預訓練文本編碼器的需求。實驗表明,8B引數的HiDream-O1-Image效能與27B的Qwen-Image相當甚至更優。此外,將架構擴充套件到200B以上引數後,HiDream-O1-Image-Pro在多個基準上創下了新紀錄。

來源arXiv Computer Vision作者: Qi Cai, Jingwen Chen, Chengmin Gao, Zijian Gong, Yehao Li, Yingwei Pan, Yi Peng, Zhaofan Qiu, Kai Yu, Yiheng Zhang, Hao Ai, Siying Bai, Yang Chen, Zhihui Chen, Fengbin Gao, Ying Guo, Dong Li, Zhen Shen, Leilei Shi, Jing Wang, Siyu Wang, Yimeng Wang, Rui Zheng, Ting Yao, Tao Mei
HiDream-O1-Image:原生統一影像生成基礎模型,採用畫素級統一Transformer
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

視覺生成模型的發展長期以來受限於碎片化的架構,這些架構依賴獨立的文本編碼器和外部VAE。最新研究HiDream-O1-Image打破了這一局面,提出了一種原生統一的生成基礎模型。該模型基於畫素空間擴散Transformer,實現了從模組化架構到端到端上下文視覺生成引擎的正規化轉變。

HiDream-O1-Image的核心創新在於其Unified Transformer(UiT)架構。它將原始影像畫素、文本標記和任務特定條件對映到一個單一的共享標記空間中,從而在結構上統一了多模態輸入。這種原生編碼正規化消除了對獨立VAE或預訓練文本編碼器的依賴,使模型能夠將各種生成和編輯任務視為一致的上下文推理過程。

廣泛實驗表明,HiDream-O1-Image在多種生成任務中表現出色,包括文本到影像生成、基於指令的編輯和主題驅動的個性化生成。值得注意的是,儘管只有8B引數,HiDream-O1-Image(8B)的效能與甚至超過了一些引數規模更大的模型(如27B的Qwen-Image)。

為了驗證該正規化的可擴充套件性,研究人員進一步將架構擴充套件到超過200B引數。實驗結果顯示,這一大規模版本HiDream-O1-Image-Pro(200B+)解鎖了前所未有的生成能力,在多個基準測試中創造了新的效能紀錄。

HiDream-O1-Image的成功凸顯了原生統一架構的巨大潛力,為下一代多模態AI指明瞭一條高度可擴充套件的發展路徑。該研究的程式碼和模型已在GitHub和Hugging Face上開源。研究論文由多位作者共同完成,包括Qi Cai、Jingwen Chen等,並於2026年5月11日提交至arXiv。

展開要點與分析

文章情報

工程師進階

要點

  • HiDream-O1-Image採用原生統一架構,透過畫素級擴散Transformer整合多模態輸入。
  • 僅8B引數即可超越27B Qwen-Image等更大模型。
  • 成功擴充套件至200B以上引數,展示出強大的可擴充套件性和效能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。