コンピュータビジョン分野において、オブジェクト挿入は参照オブジェクトを背景画像の指定領域にシームレスに合成する重要なタスクです。近年の拡散モデルに基づく手法は高い視覚品質を達成していますが、これらは挿入を単純な2Dインペインティングタスクとして定式化しており、オブジェクトの3Dポーズを明示的に制御することができません。そのため、拡張現実や画像編集などの応用において、ユーザーが挿入オブジェクトの向きや位置を正確に指定したい場合には不十分です。
この課題に対処するため、Jingbo Gong氏らはDIRECT（Decomposed Injection for Reference Composition and Target-integration）フレームワークを提案しました。DIRECTは、インタラクティブなポーズ操作と高忠実度の2D画像合成を統合し、ポーズ制御可能なオブジェクト挿入を実現します。この手法の核心は、挿入条件を3つの補完的なコンポーネントに分解することです。すなわち、参照オブジェクトの視覚的詳細を捉える外観ガイダンス、ユーザーが調整した3Dプロキシから導出される幾何ガイダンス、そしてターゲット背景からのコンテキストガイダンスです。これらを別々の経路で注入することにより、特徴の絡まりを回避し、参照外観の保持、ユーザー指定ポーズの追従、ターゲットシーンへの適応を同時に実現します。
さらに、研究チームは自動データ構築パイプラインを導入し、トレーニングデータの多様性と品質を大幅に向上させました。実験結果は、DIRECTが幾何学的制御性と視覚品質の両方で従来手法を凌駕することを示しています。本研究成果はICML 2026で採択され、コードとデータも公開されています。DIRECTは、画像編集、拡張現実、仮想現実などの分野に新たな可能性を開くものであり、今後の発展が期待されます。