arXiv 於2026年10月20日發佈的一篇計算機視覺與模式識別(cs.CV)方向論文提出了 JUICE(Joint Unified multimodal modeling In Continuous Encoder spaces),即“連續編碼器空間中的聯合統一多模態建模”,作者為 Jiahan Li 等共12人。該論文針對當前統一多模態模型的一個結構性缺陷:大多數模型對圖像與文本採取非對稱處理方式——由預訓練語言模型生成文本、由外掛的擴散頭生成圖像,而同時包含兩種模態的輸出只能按固定順序產生,因此先產生的輸出無法根據後產生的輸出進行調整。研究者提出的核心問題是:能否改為由同一個過程聯合生成兩種模態,並且從零開始對它們進行聯合訓練。
論文指出,預訓練編碼器空間能夠以統一的連續形式承載兩種模態,並攜帶在大規模數據上學到的知識;近期研究也發現,這類空間作為視覺與語言的生成目標十分有效。因此,作者選擇直接在這些空間中建模聯合分佈。JUICE 是一個運行在凍結的圖像與文本表示之上的單一流匹配(flow matching)Transformer,其中每種模態擁有各自的噪聲水平。哪些模態保持乾淨、哪些模態需要生成,決定了模型執行的具體任務:圖像生成、圖像描述(captioning)、視覺問答(VQA)或聯合生成。
作者通過受控的預訓練實驗逐項檢驗了各個設計選擇。關鍵發現包括:在相同引導強度下,將文本作為連續狀態生成不會損害圖像生成能力——GenEval 得分為48.41,而僅針對文本到圖像生成訓練的模型為47.86;不過生成的字幕會損失部分精確措辭。同時使用聯合去噪與條件去噪進行訓練,效果優於單獨使用其中任何一種;而語義編碼器空間作為生成目標,優於 VAE 潛變量和原始像素。
在規模方面,JUICE 參數量為21億(2.1B),未使用任何語言模型初始化,圖像分辨率為224×224,在 GenEval 上最高達到0.88,在 VQAv2 上達到73.1。
論文進一步展示了聯合生成的獨特能力:通過從聯合分佈中對兩種模態同時採樣(稱為 coupled sampling,耦合採樣),JUICE 可以在繪製地圖路線的同時寫出與之對應的移動步驟。在存在多個有效解法的迷宮任務上,聯合成功率從獨立採樣時的54.6%提升到93.7%,而且不需要任何模態先輸出。在視覺空間規劃任務上,JUICE 在其訓練規模對應的地圖上解決了99.8%的案例。
論文共69頁、含31幅圖和37張表,並提供項目主頁、代碼與模型權重的鏈接。提交時間為2026年10月20日18:25:09 UTC(v1),文件大小約24,163 KB,DOI 為 https://doi.org/10.48550/arXiv.2610.28801(arXiv 通過 DataCite 簽發的 DOI,註冊尚在處理中)。從提交記錄看,該版本為首次提交(v1),歸屬於 cs.CV 分類下的 new 條目。