跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

JUICE:在预训练表征空间中统一多模态建模

文章摘要

本文提出 JUICE,一个在冻结的图像与文本预训练表征空间上运行的单一流匹配 Transformer,两个模态各有独立噪声水平,通过哪些模态保持干净、哪些需要生成的设定来切换图像生成、图像描述、视觉问答与联合生成等任务。在 2.1B 参数、224x224 分辨率且不使用语言模型初始化的条件下,它最高达到 GenEval 0.88 与 VQAv2 73.1,并在需要双模态互相配合的迷宫路径规划任务中显著优于独立采样。

来源arXiv Computer Vision作者: Jiahan Li, Huangyuan Su, Shengbang Tong, Shusheng Yang, Ruihan Guo, Suozhi Huang, Hexu Zhao, Pratyusha Sharma, Sherry Yang, Jiatao Gu, Rob Fergus, Kyunghyun Cho
JUICE:在预训练表征空间中统一多模态建模
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于2026年10月20日发布的一篇计算机视觉与模式识别(cs.CV)方向论文提出了 JUICE(Joint Unified multimodal modeling In Continuous Encoder spaces),即“连续编码器空间中的联合统一多模态建模”,作者为 Jiahan Li 等共12人。该论文针对当前统一多模态模型的一个结构性缺陷:大多数模型对图像与文本采取非对称处理方式——由预训练语言模型生成文本、由外挂的扩散头生成图像,而同时包含两种模态的输出只能按固定顺序产生,因此先产生的输出无法根据后产生的输出进行调整。研究者提出的核心问题是:能否改为由同一个过程联合生成两种模态,并且从零开始对它们进行联合训练。

论文指出,预训练编码器空间能够以统一的连续形式承载两种模态,并携带在大规模数据上学到的知识;近期研究也发现,这类空间作为视觉与语言的生成目标十分有效。因此,作者选择直接在这些空间中建模联合分布。JUICE 是一个运行在冻结的图像与文本表示之上的单一流匹配(flow matching)Transformer,其中每种模态拥有各自的噪声水平。哪些模态保持干净、哪些模态需要生成,决定了模型执行的具体任务:图像生成、图像描述(captioning)、视觉问答(VQA)或联合生成。

作者通过受控的预训练实验逐项检验了各个设计选择。关键发现包括:在相同引导强度下,将文本作为连续状态生成不会损害图像生成能力——GenEval 得分为48.41,而仅针对文本到图像生成训练的模型为47.86;不过生成的字幕会损失部分精确措辞。同时使用联合去噪与条件去噪进行训练,效果优于单独使用其中任何一种;而语义编码器空间作为生成目标,优于 VAE 潜变量和原始像素。

在规模方面,JUICE 参数量为21亿(2.1B),未使用任何语言模型初始化,图像分辨率为224×224,在 GenEval 上最高达到0.88,在 VQAv2 上达到73.1。

论文进一步展示了联合生成的独特能力:通过从联合分布中对两种模态同时采样(称为 coupled sampling,耦合采样),JUICE 可以在绘制地图路线的同时写出与之对应的移动步骤。在存在多个有效解法的迷宫任务上,联合成功率从独立采样时的54.6%提升到93.7%,而且不需要任何模态先输出。在视觉空间规划任务上,JUICE 在其训练规模对应的地图上解决了99.8%的案例。

论文共69页、含31幅图和37张表,并提供项目主页、代码与模型权重的链接。提交时间为2026年10月20日18:25:09 UTC(v1),文件大小约24,163 KB,DOI 为 https://doi.org/10.48550/arXiv.2610.28801(arXiv 通过 DataCite 签发的 DOI,注册尚在处理中)。从提交记录看,该版本为首次提交(v1),归属于 cs.CV 分类下的 new 条目。

展开要点与分析

文章情报

工程师进阶

要点

  • 用单一流匹配 Transformer 在冻结的图像与文本编码空间中直接建模联合分布,避免语言模型加扩散头的非对称结构
  • 各模态拥有独立噪声水平,靠“哪些干净、哪些生成”决定任务,无需固定生成顺序
  • 2.1B 参数下达到 GenEval 0.88、VQAv2 73.1;以连续状态生成文本几乎不影响图像生成质量,但描述会丢失部分精确措辞
  • 耦合采样让多解迷宫联合成功率从 54.6% 提升到 93.7%,视觉空间规划在训练规模地图上解决率 99.8%

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。