從單段參考影片出發,為同一動態場景合成多個不同視角的影片,是一項頗具挑戰的任務:模型不僅要重建參考視角中已觀測到的內容,還必須在其他視角下合理地推斷出從未被看到的區域,並且保證這些內容在時間與空間上都彼此一致。現有的影片擴散相機控制方法大多從網路架構入手,例如引入相機嵌入、跨視角注意力或幾何條件約束。這些手段在處理靜態場景時表現尚可,但面對精細而快速變化的動態幾何時往往力不從心,難以讓同一物體在不同視角、不同時刻保持連貫的形態。
Qualcomm AI Research 的 Farhad G. Zanjani 等作者提出的 SyncVid 嘗試換一個切入點:與其在網路結構上新增約束,不如直接同步擴散過程本身。傳統做法是在每個 2D 影像平面上獨立取樣高斯噪聲,各視角之間天然缺乏關聯;SyncVid 則把噪聲先驗取樣到由源影片推匯出的規範 3D 空間中,再將其光柵化到各個目標相機視角。換言之,隨機性的產生位置從相互獨立的影像平面,轉移到了一個共享的世界座標系中。
在具體實現上,該方法先將單目影片提升為規範的 4D 表示,使噪聲與場景幾何以及尚未觀測的空間建立關聯,隨後把這種結構化噪聲渲染到任意目標視角。由於渲染過程本身可能引入區域性相關性,研究團隊進一步設計了跨視角一致的 whiten(白化)流程:它對相鄰畫素進行去相關處理,同時保留不同視角之間的對應關係,從而避免噪聲在渲染後失去應有的統計特性。
處理後的結構化噪聲被用作擴散先驗,驅動一個經過 LoRA 適配的預訓練影片擴散模型。這一設計的顯著優勢在於無需對原有架構做任何修改,從而可以直接複用已有的強大影片生成骨幹網路。透過在隨機性的源頭施加時空與跨視角一致性,SyncVid 能夠生成彼此同步的多視角影片。實驗顯示,該方法在感知質量與跨視角一致性兩方面均有提升。
該論文提交於 2026 年 10 月 22 日,共 28 頁、8 幅圖、9 張表,屬於計算機視覺與模式識別方向,並提供了專案主頁供讀者檢視演示與更多結果。