跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

JUICE:在預訓練表徵空間中統一多模態建模

文章摘要

本文提出 JUICE,一個在凍結的圖像與文本預訓練表徵空間上運行的單一流匹配 Transformer,兩個模態各有獨立噪聲水平,通過哪些模態保持乾淨、哪些需要生成的設定來切換圖像生成、圖像描述、視覺問答與聯合生成等任務。在 2.1B 參數、224x224 分辨率且不使用語言模型初始化的條件下,它最高達到 GenEval 0.88 與 VQAv2 73.1,並在需要雙模態互相配合的迷宮路徑規劃任務中顯著優於獨立採樣。

來源arXiv Computer Vision作者: Jiahan Li, Huangyuan Su, Shengbang Tong, Shusheng Yang, Ruihan Guo, Suozhi Huang, Hexu Zhao, Pratyusha Sharma, Sherry Yang, Jiatao Gu, Rob Fergus, Kyunghyun Cho
JUICE:在預訓練表徵空間中統一多模態建模
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於2026年10月20日發佈的一篇計算機視覺與模式識別(cs.CV)方向論文提出了 JUICE(Joint Unified multimodal modeling In Continuous Encoder spaces),即“連續編碼器空間中的聯合統一多模態建模”,作者為 Jiahan Li 等共12人。該論文針對當前統一多模態模型的一個結構性缺陷:大多數模型對圖像與文本採取非對稱處理方式——由預訓練語言模型生成文本、由外掛的擴散頭生成圖像,而同時包含兩種模態的輸出只能按固定順序產生,因此先產生的輸出無法根據後產生的輸出進行調整。研究者提出的核心問題是:能否改為由同一個過程聯合生成兩種模態,並且從零開始對它們進行聯合訓練。

論文指出,預訓練編碼器空間能夠以統一的連續形式承載兩種模態,並攜帶在大規模數據上學到的知識;近期研究也發現,這類空間作為視覺與語言的生成目標十分有效。因此,作者選擇直接在這些空間中建模聯合分佈。JUICE 是一個運行在凍結的圖像與文本表示之上的單一流匹配(flow matching)Transformer,其中每種模態擁有各自的噪聲水平。哪些模態保持乾淨、哪些模態需要生成,決定了模型執行的具體任務:圖像生成、圖像描述(captioning)、視覺問答(VQA)或聯合生成。

作者通過受控的預訓練實驗逐項檢驗了各個設計選擇。關鍵發現包括:在相同引導強度下,將文本作為連續狀態生成不會損害圖像生成能力——GenEval 得分為48.41,而僅針對文本到圖像生成訓練的模型為47.86;不過生成的字幕會損失部分精確措辭。同時使用聯合去噪與條件去噪進行訓練,效果優於單獨使用其中任何一種;而語義編碼器空間作為生成目標,優於 VAE 潛變量和原始像素。

在規模方面,JUICE 參數量為21億(2.1B),未使用任何語言模型初始化,圖像分辨率為224×224,在 GenEval 上最高達到0.88,在 VQAv2 上達到73.1。

論文進一步展示了聯合生成的獨特能力:通過從聯合分佈中對兩種模態同時採樣(稱為 coupled sampling,耦合採樣),JUICE 可以在繪製地圖路線的同時寫出與之對應的移動步驟。在存在多個有效解法的迷宮任務上,聯合成功率從獨立採樣時的54.6%提升到93.7%,而且不需要任何模態先輸出。在視覺空間規劃任務上,JUICE 在其訓練規模對應的地圖上解決了99.8%的案例。

論文共69頁、含31幅圖和37張表,並提供項目主頁、代碼與模型權重的鏈接。提交時間為2026年10月20日18:25:09 UTC(v1),文件大小約24,163 KB,DOI 為 https://doi.org/10.48550/arXiv.2610.28801(arXiv 通過 DataCite 簽發的 DOI,註冊尚在處理中)。從提交記錄看,該版本為首次提交(v1),歸屬於 cs.CV 分類下的 new 條目。

展開要點與分析

文章情報

工程師進階

要點

  • 用單一流匹配 Transformer 在凍結的圖像與文本編碼空間中直接建模聯合分佈,避免語言模型加擴散頭的非對稱結構
  • 各模態擁有獨立噪聲水平,靠“哪些乾淨、哪些生成”決定任務,無需固定生成順序
  • 2.1B 參數下達到 GenEval 0.88、VQAv2 73.1;以連續狀態生成文本幾乎不影響圖像生成質量,但描述會丟失部分精確措辭
  • 耦合採樣讓多解迷宮聯合成功率從 54.6% 提升到 93.7%,視覺空間規劃在訓練規模地圖上解決率 99.8%

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。