arXiv は2026年10月20日、コンピュータビジョンとパターン認識(cs.CV)分野の論文「JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces(事前学習済み表現空間における統一マルチモーダルモデリング)」を公開した。著者は Jiahan Li 氏ほか計12名である。本論文は、現在の統一マルチモーダルモデルが持つ構造的欠陥を出発点とする。すなわち、ほとんどのモデルは画像とテキストを非対称に扱っており、事前学習済み言語モデルがテキストを生成し、付属の拡散ヘッドが画像を生成する。両方のモダリティを含む出力は固定された順序で生成されるため、先に出力された内容が後に出力される内容に適応することができない。著者らは、両モダリティを一つのプロセスで、しかもゼロから共同で訓練して生成できるかどうかを問うている。
論文によれば、事前学習済みエンコーダ空間は両モダリティを単一の連続的な形式で保持し、大規模データから学習した知識を備えている。最近の研究でも、こうした空間が視覚と言語の生成ターゲットとして有効であることが示されている。そこで著者らは、この空間において直接、同時分布をモデル化することを選んだ。JUICE は、凍結された画像表現とテキスト表現の上で動作する単一のフローマッチング(flow matching)Transformer であり、各モダリティがそれぞれ独自のノイズレベルを持つ。どのモダリティをクリーンなままにし、どれを生成するかによって、画像生成、キャプション生成、視覚的質問応答(VQA)、または同時生成というタスクが決まる。
著者らは制御された事前学習実験により、各設計上の選択を個別に検証した。主な知見は次の通りである。同じガイダンス強度の下で、テキストを連続状態として生成しても画像生成能力は損なわれない(GenEval で48.41、テキストから画像への生成のみで訓練したモデルは47.86)。ただし生成されるキャプションは正確な言い回しの一部を失う。同時デノイジングと条件付きデノイジングを併用した訓練は、どちらか単独よりも優れる。また、生成ターゲットとしては、意味的エンコーダ空間が VAE の潜在変数や生ピクセルよりも優れている。
規模面では、JUICE はパラメータ数21億(2.1B)、言語モデルによる初期化なし、解像度224×224で、GenEval では最大0.88、VQAv2 では73.1に達する。
さらに論文は、同時生成ならではの能力を示す。同時分布から両モダリティを同時にサンプリングする「結合サンプリング(coupled sampling)」により、JUICE は地図上に経路を描きながら、それに対応する移動手順を書き出すことができる。複数の有効解が存在する迷路タスクでは、同時成功率が独立サンプリング時の54.6%から93.7%へと上昇し、しかもどちらのモダリティも先に出力する必要がない。視覚的空间計画タスクでは、JUICE は訓練時のサイズの地図の99.8%を解く。
論文は全69ページ、図31点、表37点で構成され、プロジェクトページ、コード、モデル重みへのリンクも提供されている。投稿日時は2026年10月20日18:25:09 UTC(v1)、ファイルサイズは約24,163 KB、DOI は https://doi.org/10.48550/arXiv.2610.28801(arXiv が DataCite 経由で発行する DOI で、登録は手続き中)である。投稿履歴から、このバージョンが初回投稿(v1)であり、cs.CV カテゴリの new 項目に分類されていることが分かる。