1本の参照動画から動的シーンの複数視点動画を生成するには、観測済みの内容と未観測の内容の両方を、視点をまたいで一貫した形で合成する必要がある。既存の動画拡散モデルにおけるカメラ制御は、カメラ埋め込み、クロスビューアテンション、幾何条件付けといったアーキテクチャ上の仕組みに頼るのが一般的だ。これらは静的なシーン内容には有効だが、視点間および時間方向で整合し続けなければならない細かな動的幾何の扱いではしばしば苦戦する。
Qualcomm AI ResearchのFarhad G. Zanjani氏らによるSyncVidは、ネットワーク構造に制約を足すのではなく、拡散プロセスそのものを同期させるという発想を取る。従来は各2D画像平面で独立にガウスノイズをサンプリングしていたため、視点同士のノイズに本質的な関連はなかった。これに対し本手法は、入力動画から導かれる正準3D空間でノイズ事前分布をサンプリングし、それを各ターゲットカメラへラスタライズする。つまりランダム性の発生源を、互いに独立した画像平面から共有されたワールド座標系へ移すわけだ。
実装上はまず単眼動画を正準4D表現へ持ち上げ、ノイズをシーン幾何および未観測領域と結び付ける。続いてこの構造化されたノイズを任意の視点へレンダリングする。ただしレンダリング自体が局所的な相関を導入しうるため、研究チームはクロスビュー整合ホワイトニングと呼ぶ処理を追加した。これは隣接画素間の相関を除去しつつ、視点間の対応関係は維持するもので、レンダリング後のノイズが望ましい統計的性質を保てるようにする。
こうして得られた構造化ノイズは拡散の事前分布として用いられ、LoRAで適応した事前学習済み動画拡散モデルを駆動する。この設計の利点は、既存アーキテクチャに一切手を加える必要がない点にあり、強力な動画生成バックボーンをそのまま活用できる。ランダム性の源で時空間および視点間の整合性を課すことで、SyncVidは同期の取れた複数視点動画を生成する。実験では知覚品質とクロスビュー一貫性の両面で改善が示された。
本論文は2026年10月22日に投稿され、28ページ、図8点、表9点で構成される。分野はコンピュータビジョンとパターン認識（cs.CV）であり、プロジェクトページも公開されている。