3Dアセット生成のような幾何認識タスクでは、生成モデルの条件信号に密な空間構造を保持することが不可欠である。しかし、視覚言語モデル（VLM）をプロンプトエンコーダとして利用する既存手法は、高コストなエンドツーエンド訓練に依存するか、特徴を圧縮表現にマッピングするため、必要な空間情報が失われてしまう。この課題に対処するため、GAP3Dというモジュール式の拡散ベース手法が提案された。これは、VLMが生成した潜在特徴を、事前学習済み画像エンコーダの完全なパッチレベル特徴空間に直接整列させることを目的とする。
GAP3Dの中心的なアイデアは、凍結された下流生成モデルがVLMをプロンプトエンコーダとして使用できるようにしつつ、空間的に構造化された条件信号を受け取れるようにすることである。この手法は拡散プロセスを通じて、VLMの意味的潜在特徴を画像エンコーダのパッチ埋め込みと一致する表現に変換するよう学習する。これにより、生成モデルは再訓練することなく、VLMの強力な意味理解能力を活用しつつ、空間レイアウトへの感度を維持できる。
3Dアセット生成の評価において、GAP3Dはその効率性を示した。主に汎用領域の画像-テキストペアを用いて訓練することで、大規模な3Dデータへの依存を回避している。テキスト入力のみで訓練されたにもかかわらず、この手法はマルチモーダルプロンプトに対する創発的なゼロショット能力を発揮し、整列された特徴空間が一定の汎化性を持つことを示唆している。
著者らは現在の手法の限界も指摘している。GAP3Dは現時点では細粒度の詳細よりも高レベルの意味論を優先している。それでもなお、この研究は拡散ベースの整列によってVLMと画像エンコーダの特徴空間間の表現ギャップを部分的に埋められることを証明し、生成的整列を通じた基盤モデルのモジュール式統合への第一歩を踏み出した。GAP3DはPolytimi Anna Gkotsiら3名の著者によって完成され、2026年5月27日にarXivに投稿された。分野はコンピュータビジョンとパターン認識（cs.CV）である。