跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

HiDream-O1-Image:原生統一圖像生成基礎模型,採用像素級統一Transformer

文章摘要

HiDream-O1-Image是一種原生統一的視覺生成基礎模型,通過像素空間擴散Transformer實現了從模塊化架構到端到端上下文視覺生成引擎的範式轉變。它將原始圖像像素、文本標記和任務特定條件映射到單個共享標記空間,消除了對獨立VAE或預訓練文本編碼器的需求。實驗表明,8B參數的HiDream-O1-Image性能與27B的Qwen-Image相當甚至更優。此外,將架構擴展到200B以上參數後,HiDream-O1-Image-Pro在多個基準上創下了新紀錄。

來源arXiv Computer Vision作者: Qi Cai, Jingwen Chen, Chengmin Gao, Zijian Gong, Yehao Li, Yingwei Pan, Yi Peng, Zhaofan Qiu, Kai Yu, Yiheng Zhang, Hao Ai, Siying Bai, Yang Chen, Zhihui Chen, Fengbin Gao, Ying Guo, Dong Li, Zhen Shen, Leilei Shi, Jing Wang, Siyu Wang, Yimeng Wang, Rui Zheng, Ting Yao, Tao Mei
HiDream-O1-Image:原生統一圖像生成基礎模型,採用像素級統一Transformer
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

視覺生成模型的發展長期以來受限於碎片化的架構,這些架構依賴獨立的文本編碼器和外部VAE。最新研究HiDream-O1-Image打破了這一局面,提出了一種原生統一的生成基礎模型。該模型基於像素空間擴散Transformer,實現了從模塊化架構到端到端上下文視覺生成引擎的範式轉變。

HiDream-O1-Image的核心創新在於其Unified Transformer(UiT)架構。它將原始圖像像素、文本標記和任務特定條件映射到一個單一的共享標記空間中,從而在結構上統一了多模態輸入。這種原生編碼範式消除了對獨立VAE或預訓練文本編碼器的依賴,使模型能夠將各種生成和編輯任務視為一致的上下文推理過程。

廣泛實驗表明,HiDream-O1-Image在多種生成任務中表現出色,包括文本到圖像生成、基於指令的編輯和主題驅動的個性化生成。值得注意的是,儘管只有8B參數,HiDream-O1-Image(8B)的性能與甚至超過了一些參數規模更大的模型(如27B的Qwen-Image)。

為了驗證該範式的可擴展性,研究人員進一步將架構擴展到超過200B參數。實驗結果顯示,這一大規模版本HiDream-O1-Image-Pro(200B+)解鎖了前所未有的生成能力,在多個基準測試中創造了新的性能紀錄。

HiDream-O1-Image的成功凸顯了原生統一架構的巨大潛力,為下一代多模態AI指明瞭一條高度可擴展的發展路徑。該研究的代碼和模型已在GitHub和Hugging Face上開源。研究論文由多位作者共同完成,包括Qi Cai、Jingwen Chen等,並於2026年5月11日提交至arXiv。

展開要點與分析

文章情報

工程師進階

要點

  • HiDream-O1-Image採用原生統一架構,通過像素級擴散Transformer整合多模態輸入。
  • 僅8B參數即可超越27B Qwen-Image等更大模型。
  • 成功擴展至200B以上參數,展示出強大的可擴展性和性能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。