跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

HiDream-O1-Image:原生统一图像生成基础模型,采用像素级统一Transformer

文章摘要

HiDream-O1-Image是一种原生统一的视觉生成基础模型,通过像素空间扩散Transformer实现了从模块化架构到端到端上下文视觉生成引擎的范式转变。它将原始图像像素、文本标记和任务特定条件映射到单个共享标记空间,消除了对独立VAE或预训练文本编码器的需求。实验表明,8B参数的HiDream-O1-Image性能与27B的Qwen-Image相当甚至更优。此外,将架构扩展到200B以上参数后,HiDream-O1-Image-Pro在多个基准上创下了新纪录。

来源arXiv Computer Vision作者: Qi Cai, Jingwen Chen, Chengmin Gao, Zijian Gong, Yehao Li, Yingwei Pan, Yi Peng, Zhaofan Qiu, Kai Yu, Yiheng Zhang, Hao Ai, Siying Bai, Yang Chen, Zhihui Chen, Fengbin Gao, Ying Guo, Dong Li, Zhen Shen, Leilei Shi, Jing Wang, Siyu Wang, Yimeng Wang, Rui Zheng, Ting Yao, Tao Mei
HiDream-O1-Image:原生统一图像生成基础模型,采用像素级统一Transformer
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

视觉生成模型的发展长期以来受限于碎片化的架构,这些架构依赖独立的文本编码器和外部VAE。最新研究HiDream-O1-Image打破了这一局面,提出了一种原生统一的生成基础模型。该模型基于像素空间扩散Transformer,实现了从模块化架构到端到端上下文视觉生成引擎的范式转变。

HiDream-O1-Image的核心创新在于其Unified Transformer(UiT)架构。它将原始图像像素、文本标记和任务特定条件映射到一个单一的共享标记空间中,从而在结构上统一了多模态输入。这种原生编码范式消除了对独立VAE或预训练文本编码器的依赖,使模型能够将各种生成和编辑任务视为一致的上下文推理过程。

广泛实验表明,HiDream-O1-Image在多种生成任务中表现出色,包括文本到图像生成、基于指令的编辑和主题驱动的个性化生成。值得注意的是,尽管只有8B参数,HiDream-O1-Image(8B)的性能与甚至超过了一些参数规模更大的模型(如27B的Qwen-Image)。

为了验证该范式的可扩展性,研究人员进一步将架构扩展到超过200B参数。实验结果显示,这一大规模版本HiDream-O1-Image-Pro(200B+)解锁了前所未有的生成能力,在多个基准测试中创造了新的性能纪录。

HiDream-O1-Image的成功凸显了原生统一架构的巨大潜力,为下一代多模态AI指明了一条高度可扩展的发展路径。该研究的代码和模型已在GitHub和Hugging Face上开源。研究论文由多位作者共同完成,包括Qi Cai、Jingwen Chen等,并于2026年5月11日提交至arXiv。

展开要点与分析

文章情报

工程师进阶

要点

  • HiDream-O1-Image采用原生统一架构,通过像素级扩散Transformer整合多模态输入。
  • 仅8B参数即可超越27B Qwen-Image等更大模型。
  • 成功扩展至200B以上参数,展示出强大的可扩展性和性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。