跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Latent Space Jam:佈局引導的視頻合成

文章摘要

該論文提出一種無需訓練的視頻生成控制方法,利用預訓練視頻擴散模型,通過兩階段流程按粗略佈局控制物體位置與運動,在軌跡準確度和視覺質量上優於先前工作。

來源arXiv Computer Vision作者: Asaf Joseph, Moshe Mandel, Ohad Fried
Latent Space Jam:佈局引導的視頻合成
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 10 月 21 日發佈了一篇新的計算機視覺論文,題為《Latent Space Jam: Layout Guided Video Synthesis》(潛空間碰撞:佈局引導的視頻合成),編號 arXiv:2610.30390v1,歸類於計算機視覺與模式識別(cs.CV)。論文由 Asaf Joseph 與另外兩位作者共同完成。根據提交記錄,該版本於 2026 年 10 月 21 日星期三 19:48:57 UTC 上傳,文件大小約 21,874 KB。DOI 為 https://doi.org/10.48550/arXiv.2610.30390,由 arXiv 通過 DataCite 發放,目前註冊仍在處理中。

論文要解決的核心問題是視頻生成中的可控性。作者指出,在視頻生成模型中加入控制通常需要額外的訓練,而這會帶來額外的計算資源、數據需求或架構改動。為繞開這些成本,研究團隊提出了一種免訓練的方法,直接利用預訓練的視頻擴散模型,通過粗粒度佈局來控制畫面中物體的位置與運動。

該方法分為兩個階段。第一階段通過提示引導的交叉注意力(prompt-guided cross-attention)操控物體在時空中的擺位,生成一段粗略的視覺引導;第二階段則用這段引導作為條件輸入,驅動同一個模型生成高質量且與佈局一致的視頻。由於兩階段共享同一預訓練模型,整個流程無需任何額外訓練即可運行。作者表示,這一設計能夠實現具有較強時間一致性的協同運動,並支持多種軌跡形態與物體之間的交互。

在實驗方面,論文稱大量測試顯示該方法在重疊準確度、軌跡準確度以及視覺質量上均穩定優於先前工作,覆蓋靜態場景、動態場景以及多物體場景等多種設置。需要注意的是,上述性能結論均來自作者自述,論文的正文、實驗細節與對比基線尚需讀者查閲 PDF 或實驗性 HTML 版本自行評估。此外,該論文的引用信息、參考文獻與引文數據仍在 arXiv 頁面上加載中。

對於關注視頻生成可控性的研究者而言,這項工作提供的思路是:不必重新訓練模型,而是藉助現有擴散模型的注意力機制與兩階段引導流程來實現佈局控制,從而降低使用門檻與算力成本。後續值得關注的是該方法在不同基礎模型上的泛化能力,以及在更復雜多物體交互場景中的表現。

展開要點與分析

文章情報

工程師進階

要點

  • 方法無需額外訓練、數據或架構改動,直接複用預訓練視頻擴散模型
  • 採用兩遍流程:先以提示引導的交叉注意力生成粗略視覺引導,再以該引導條件化同一模型生成高質量視頻
  • 支持多樣軌跡與物體交互,並保持較強的時間一致性
  • 在靜態、動態及多物體場景中,重疊與軌跡準確度及視覺質量均優於既有方法

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。