arXiv 于2026年10月20日发布的一篇计算机视觉与模式识别(cs.CV)方向论文提出了 JUICE(Joint Unified multimodal modeling In Continuous Encoder spaces),即“连续编码器空间中的联合统一多模态建模”,作者为 Jiahan Li 等共12人。该论文针对当前统一多模态模型的一个结构性缺陷:大多数模型对图像与文本采取非对称处理方式——由预训练语言模型生成文本、由外挂的扩散头生成图像,而同时包含两种模态的输出只能按固定顺序产生,因此先产生的输出无法根据后产生的输出进行调整。研究者提出的核心问题是:能否改为由同一个过程联合生成两种模态,并且从零开始对它们进行联合训练。
论文指出,预训练编码器空间能够以统一的连续形式承载两种模态,并携带在大规模数据上学到的知识;近期研究也发现,这类空间作为视觉与语言的生成目标十分有效。因此,作者选择直接在这些空间中建模联合分布。JUICE 是一个运行在冻结的图像与文本表示之上的单一流匹配(flow matching)Transformer,其中每种模态拥有各自的噪声水平。哪些模态保持干净、哪些模态需要生成,决定了模型执行的具体任务:图像生成、图像描述(captioning)、视觉问答(VQA)或联合生成。
作者通过受控的预训练实验逐项检验了各个设计选择。关键发现包括:在相同引导强度下,将文本作为连续状态生成不会损害图像生成能力——GenEval 得分为48.41,而仅针对文本到图像生成训练的模型为47.86;不过生成的字幕会损失部分精确措辞。同时使用联合去噪与条件去噪进行训练,效果优于单独使用其中任何一种;而语义编码器空间作为生成目标,优于 VAE 潜变量和原始像素。
在规模方面,JUICE 参数量为21亿(2.1B),未使用任何语言模型初始化,图像分辨率为224×224,在 GenEval 上最高达到0.88,在 VQAv2 上达到73.1。
论文进一步展示了联合生成的独特能力:通过从联合分布中对两种模态同时采样(称为 coupled sampling,耦合采样),JUICE 可以在绘制地图路线的同时写出与之对应的移动步骤。在存在多个有效解法的迷宫任务上,联合成功率从独立采样时的54.6%提升到93.7%,而且不需要任何模态先输出。在视觉空间规划任务上,JUICE 在其训练规模对应的地图上解决了99.8%的案例。
论文共69页、含31幅图和37张表,并提供项目主页、代码与模型权重的链接。提交时间为2026年10月20日18:25:09 UTC(v1),文件大小约24,163 KB,DOI 为 https://doi.org/10.48550/arXiv.2610.28801(arXiv 通过 DataCite 签发的 DOI,注册尚在处理中)。从提交记录看,该版本为首次提交(v1),归属于 cs.CV 分类下的 new 条目。