テキストからビデオ生成において正確な3D空間オーケストレーションを実現することは、特に意味的レイアウトと時間的ダイナミクスが絡み合うマルチオブジェクトシーンでは、依然として大きな課題です。既存の深度条件付きモデルは良好な構造的忠実度を達成していますが、変形可能なオブジェクトを含む動的イベントに対しては、作成に手間がかかる密でフレーム精度の高いガイダンスが必要です。この問題を解決するために、研究者らはLooseControlVideoを提案しました。これは、スパースで方向付けられた3Dボックスを「ブロッキング」プロキシとして使用することで、直感的で表現力豊かな制御を可能にするフレームワークです。
LooseControlVideoの核となるアイデアは、ユーザーが高レベルのレイアウトと軌跡を作成できるようにしながら、ビデオ生成モデルを活用してリアルなオクルージョン、ダイナミクス、インタラクションを生成することです。具体的には、この手法はDNOCS注釈付きのビデオデータセットでWan 2.2バックボーンを微調整します。DNOCSは、3Dサイズ、方向、深度順序のオクルージョンを表現する新しいエンコーディングです。これにより、モデルはスパースなバウンディングボックスで定義されたシーン構造を理解し、物理法則と視覚的妥当性に合致するビデオコンテンツを生成できます。
グローバル制御に加えて、LooseControlVideoは局所的な調整もサポートします。たとえば、ユーザーはジャンプ軌跡を調整したり、インタラクションを追加したりできますが、グローバルなシーンコンテキストへの影響は最小限です。この柔軟性により、ビデオ制作プロセスがより直感的で効率的になり、特に細かい調整が必要な動的シーンに適しています。
方法の有効性を検証するため、研究チームはnuScenes、HO-3D、BEHAVEの3つのベンチマークで広範な評価を実施しました。実験結果は、LooseControlVideoが既存の2Dボックスおよびフローベースの方法よりも大幅に優れていることを示しています。具体的には、軌跡エラーが1.2～3倍改善され、剛体運動の一貫性が2倍向上し、オクルージョン精度が現在の最先端のレイアウト条件付きモデルと比較して1.5～2倍向上しました。これらの結果は、方向付けられた3Dプリミティブが複雑なマルチエージェントビデオ制作に優れた幾何学的事前情報を提供することを示しています。
この論文はShariq Farooq Bhatらによって執筆され、2026年6月17日に提出され、コンピュータビジョンとパターン認識（cs.CV）の分野に属します。プロジェクトページは公開されており、研究コミュニティに参考資料を提供しています。