現在の統一マルチマルチモーダルモデルは、細粒度の構図認識において信頼性が低く、そのような意図を制御可能な生成に結びつけることに苦戦している。構図とは、被写体をどこに配置し、シーンをどのように組織するかを決定する高レベルの視覚的意図である。この問題に対処するため、研究者らはCOMPASSを提案した。これは、構図知覚と構図誘導生成の両方にまたがる単一システムにおいて構図意図制御を基盤化する、初の統一マルチモーダルフレームワークであり、共有エキスパートトークンτ_cを中心的な意図アンカーとして用いる。
知覚側では、COMPASSは最小限の侵襲性で構図専門知識をMoEバックボーンに注入し、推論された意図をτ_cに蒸留する。生成側では、COMPASSはτ_cをグローバルな条件付け信号として再利用し、デノイジング軌跡を誘導することで、受動的な構図分析を明示的なレイアウト制御へと効果的に変換する。この設計により、同一のトークンが構図理解の結果を保持しつつ、生成プロセスの制御信号としても機能し、知覚と生成の緊密な結合を実現している。
大規模かつ体系的な指示追従型構図学習と評価を支援するため、研究チームはComp-11データセットを構築した。このデータセットは11クラスの構図分類体系を採用し、推論拡張アノテーションを含むため、モデルの訓練と評価に構造化された基盤を提供する。広範な実験により、COMPASSはカテゴリレベルの構図理解を大幅に改善し、強力なベースラインと比較して、より構図に一貫性があり、プロンプトに忠実な生成を実現することが示された。
COMPASSの提案は、統一マルチモーダルモデルにおける構図制御の重要な一歩であり、共有エキスパートトークンの設計は知覚と生成の統合モデリングに新たな視点をもたらす。本論文は2026年6月27日に投稿され、著者はZiqi Zhouら9名で、cs.AI分野に属し、arXiv番号は2606.28696である。