UniVLは、空間接地コンテキスト画像生成タスクのための統一視覚言語埋め込み手法です。従来の画像条件付き生成では、参照画像とグローバルなテキストプロンプトをそれぞれ視覚エンコーダとテキストエンコーダで処理していましたが、UniVLはテキスト命令を空間マスクに直接レンダリングすることで統一された視覚入力を生成し、別個のテキストエンコーダを不要にします。これにより、モデルアーキテクチャが簡素化され、推論時の計算負荷が大幅に削減されます。
UniVLの中心は、OCR（光学文字認識）で事前学習されたバックボーンを適応したエンコーダです。このエンコーダは統一条件を光学的に読み取り、視覚情報、意味意図、空間位置を融合したfVIL埋め込みを生成します。この埋め込みを効果的に活用するため、2段階のパイプラインが提案されています。第1段階ではUniVL埋め込みをVAEの埋め込み空間に整合させ、第2段階ではUniVL埋め込みのみで拡散バックボーンを条件付け、T5などの独立したテキストエンコーダを完全に排除します。このパイプラインにより、UniVL埋め込みが既存の拡散モデルにシームレスに統合され、生成ネットワークの大幅な変更が不要になります。
性能評価では、477K枚のマスク注釈付き画像からなるUniVL-ImgGenベンチマークが構築されました。実験結果によると、UniVLはテキストプロンプトベースのベースラインと比較して画質が向上し、FIDが14から11に、PSNRが16から20に改善されました。また、テキストエンコーダを排除したことで、推論TFLOPsが最大52%、実行時間が最大44%削減されました。アブレーション研究により、OCR事前学習、2段階の整合、埋め込み融合戦略など、各コンポーネントの貢献が検証され、統一条件パラダイムが空間接地画像生成において効率的で有望な手法であることが示されています。
UniVLは、拡張現実、ゲーム開発、インタラクティブデザインなど、オブジェクトの位置と意味を正確に制御する必要があるアプリケーションに新たな可能性を開きます。言語指示を空間位置に直接埋め込むことで、より直感的で効率的なインタラクションを実現し、高品質な生成結果を維持します。さらに、統一視覚入力の設計により、モデルは新しいタスクやデータセットに容易に適応でき、優れた汎化能力を持ちます。将来の研究では、UniVLをビデオ生成や3Dシーン生成などのより複雑な領域に拡張し、その統一条件パラダイムの有効性をさらに検証する計画です。