跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

SyncVid:用於同步視頻生成的世界等變擴散模型

文章摘要

SyncVid 提出一種新的視頻擴散同步思路:它不依賴相機嵌入或跨視角注意力等架構機制,而是把高斯噪聲先驗採樣到由源視頻構建的規範 3D 空間中,再光柵化到目標相機視角,從而在隨機性的源頭保證跨視角與時空一致性。該方法基於 LoRA 適配的預訓練視頻擴散模型,無需修改架構。

來源arXiv Computer Vision作者: Farhad G. Zanjani, Animesh Karnewar, Fatih Porikli, Amirhossein Habibian
SyncVid:用於同步視頻生成的世界等變擴散模型
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

從單段參考視頻出發,為同一動態場景合成多個不同視角的視頻,是一項頗具挑戰的任務:模型不僅要重建參考視角中已觀測到的內容,還必須在其他視角下合理地推斷出從未被看到的區域,並且保證這些內容在時間與空間上都彼此一致。現有的視頻擴散相機控制方法大多從網絡架構入手,例如引入相機嵌入、跨視角注意力或幾何條件約束。這些手段在處理靜態場景時表現尚可,但面對精細而快速變化的動態幾何時往往力不從心,難以讓同一物體在不同視角、不同時刻保持連貫的形態。

Qualcomm AI Research 的 Farhad G. Zanjani 等作者提出的 SyncVid 嘗試換一個切入點:與其在網絡結構上添加約束,不如直接同步擴散過程本身。傳統做法是在每個 2D 圖像平面上獨立採樣高斯噪聲,各視角之間天然缺乏關聯;SyncVid 則把噪聲先驗採樣到由源視頻推導出的規範 3D 空間中,再將其光柵化到各個目標相機視角。換言之,隨機性的產生位置從相互獨立的圖像平面,轉移到了一個共享的世界座標系中。

在具體實現上,該方法先將單目視頻提升為規範的 4D 表示,使噪聲與場景幾何以及尚未觀測的空間建立關聯,隨後把這種結構化噪聲渲染到任意目標視角。由於渲染過程本身可能引入局部相關性,研究團隊進一步設計了跨視角一致的 whiten(白化)流程:它對相鄰像素進行去相關處理,同時保留不同視角之間的對應關係,從而避免噪聲在渲染後失去應有的統計特性。

處理後的結構化噪聲被用作擴散先驗,驅動一個經過 LoRA 適配的預訓練視頻擴散模型。這一設計的顯著優勢在於無需對原有架構做任何修改,從而可以直接複用已有的強大視頻生成骨幹網絡。通過在隨機性的源頭施加時空與跨視角一致性,SyncVid 能夠生成彼此同步的多視角視頻。實驗顯示,該方法在感知質量與跨視角一致性兩方面均有提升。

該論文提交於 2026 年 10 月 22 日,共 28 頁、8 幅圖、9 張表,屬於計算機視覺與模式識別方向,並提供了項目主頁供讀者查看演示與更多結果。

展開要點與分析

文章情報

工程師進階

要點

  • 將單目視頻提升為規範 4D 表示,使噪聲與場景幾何及未觀測空間關聯
  • 提出跨視角一致的 whiten(白化)過程,去除渲染帶來的局部相關,同時保留視角間對應關係
  • 以 LoRA 適配預訓練視頻擴散模型,不改變原有網絡架構

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。