本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

JUICE:事前学習済み表現空間における統合マルチモーダルモデリング

記事の要約

本論文は、凍結した画像・テキストのエンコーダ空間上で動作する単一のフローマッチング Transformer「JUICE」を提案する。各モダリティに独立したノイズレベルを与え、どれをクリーンにしどれを生成するかによって画像生成・キャプション生成・視覚的質問応答・同時生成を切り替える。2.1B パラメータ、224x224、言語モデル初期化なしで GenEval 0.88、VQAv2 73.1 を達成し、画像とテキストの整合が必要な迷路課題でも独立サンプリングを大きく上回る。

ソースarXiv Computer Vision著者: Jiahan Li, Huangyuan Su, Shengbang Tong, Shusheng Yang, Ruihan Guo, Suozhi Huang, Hexu Zhao, Pratyusha Sharma, Sherry Yang, Jiatao Gu, Rob Fergus, Kyunghyun Cho
JUICE:事前学習済み表現空間における統合マルチモーダルモデリング
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

arXiv は2026年10月20日、コンピュータビジョンとパターン認識(cs.CV)分野の論文「JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces(事前学習済み表現空間における統一マルチモーダルモデリング)」を公開した。著者は Jiahan Li 氏ほか計12名である。本論文は、現在の統一マルチモーダルモデルが持つ構造的欠陥を出発点とする。すなわち、ほとんどのモデルは画像とテキストを非対称に扱っており、事前学習済み言語モデルがテキストを生成し、付属の拡散ヘッドが画像を生成する。両方のモダリティを含む出力は固定された順序で生成されるため、先に出力された内容が後に出力される内容に適応することができない。著者らは、両モダリティを一つのプロセスで、しかもゼロから共同で訓練して生成できるかどうかを問うている。

論文によれば、事前学習済みエンコーダ空間は両モダリティを単一の連続的な形式で保持し、大規模データから学習した知識を備えている。最近の研究でも、こうした空間が視覚と言語の生成ターゲットとして有効であることが示されている。そこで著者らは、この空間において直接、同時分布をモデル化することを選んだ。JUICE は、凍結された画像表現とテキスト表現の上で動作する単一のフローマッチング(flow matching)Transformer であり、各モダリティがそれぞれ独自のノイズレベルを持つ。どのモダリティをクリーンなままにし、どれを生成するかによって、画像生成、キャプション生成、視覚的質問応答(VQA)、または同時生成というタスクが決まる。

著者らは制御された事前学習実験により、各設計上の選択を個別に検証した。主な知見は次の通りである。同じガイダンス強度の下で、テキストを連続状態として生成しても画像生成能力は損なわれない(GenEval で48.41、テキストから画像への生成のみで訓練したモデルは47.86)。ただし生成されるキャプションは正確な言い回しの一部を失う。同時デノイジングと条件付きデノイジングを併用した訓練は、どちらか単独よりも優れる。また、生成ターゲットとしては、意味的エンコーダ空間が VAE の潜在変数や生ピクセルよりも優れている。

規模面では、JUICE はパラメータ数21億(2.1B)、言語モデルによる初期化なし、解像度224×224で、GenEval では最大0.88、VQAv2 では73.1に達する。

さらに論文は、同時生成ならではの能力を示す。同時分布から両モダリティを同時にサンプリングする「結合サンプリング(coupled sampling)」により、JUICE は地図上に経路を描きながら、それに対応する移動手順を書き出すことができる。複数の有効解が存在する迷路タスクでは、同時成功率が独立サンプリング時の54.6%から93.7%へと上昇し、しかもどちらのモダリティも先に出力する必要がない。視覚的空间計画タスクでは、JUICE は訓練時のサイズの地図の99.8%を解く。

論文は全69ページ、図31点、表37点で構成され、プロジェクトページ、コード、モデル重みへのリンクも提供されている。投稿日時は2026年10月20日18:25:09 UTC(v1)、ファイルサイズは約24,163 KB、DOI は https://doi.org/10.48550/arXiv.2610.28801(arXiv が DataCite 経由で発行する DOI で、登録は手続き中)である。投稿履歴から、このバージョンが初回投稿(v1)であり、cs.CV カテゴリの new 項目に分類されていることが分かる。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 凍結した画像・テキストのエンコーダ空間で単一のフローマッチング Transformer が両モダリティの同時分布を直接モデル化
  • モダリティごとに独立したノイズレベルを持ち、どれをクリーンにするかでタスクが決まるため生成順序の固定が不要
  • 2.1B パラメータで GenEval 0.88、VQAv2 73.1。テキストを連続状態として生成しても画像生成は保たれるが、キャプションは一部の正確な表現を失う
  • 結合サンプリングにより迷路の同時成功率が 54.6% から 93.7% に向上し、視覚空間計画では学習規模の地図の 99.8% を解く

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。