2026年6月11日、arXivに「CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation」というタイトルの論文が提出されました。この論文はSharath Girishら7名の著者によるもので、映画的な動画生成のための革新的なフレームワークを提案しています。
映画的な動画は、特定の瞬間における複数の被写体の動作や相互作用、意図的なカメラワーク、そしてショット遷移によって構成されます。これらの要素は、既存のテキストから動画へのモデルでは達成できない細かな制御を必要とします。従来の研究は、マルチ被写体個人化、時間制御、マルチショット合成、カメラ制御を個別に扱ってきましたが、これらすべてを統合したフレームワークは存在しませんでした。CineOrchestraはそのギャップを埋めるものです。
CineOrchestraの核となる洞察は、これらの異種の映画要素がすべて特定の時間間隔で動作するエンティティであるという共通構造を持つことです。したがって、それらは統一されたエンティティ中心の条件付けプリミティブで表現でき、視覚エンティティの参照画像で強化されます。この定式化により、アーキテクチャ上の課題は単一の位置符号化問題に還元され、2つのパラメータフリーの協調回転埋め込みで解決されます：(a) 区間サンプリング時間RoPE（異なる長さのイベント間で一貫した注意動作を実現）、(b) 2Dエンティティ-時間クロスアテンションRoPE（エンティティごとの条件を区別し、対応する時空間領域にルーティング）。
2つの新しいベンチマークにおいて、CineOrchestraは密集キャプション追跡とショット遷移タイミングで6つの専門モデルを上回りました。これらのベンチマークは、マルチ被写体個人化、時間制御、マルチショット合成、カメラ制御の各軸を評価するもので、CineOrchestraは総合指標で優れた結果を示しました。ペアごとのユーザー調査とコンポーネントのアブレーション実験でも一貫した改善が確認されています。
プロジェクトページは公開されており、コードとデータは後日提供される予定です。この研究は、映画動画生成の分野に統一的なソリューションを提供し、映像制作や広告生成などの応用を促進することが期待されます。