跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

AniGS:融合渲染與擴散先驗的3D場景動畫技術

文章摘要

AniGS是一種針對大規模3D高斯潑濺重建場景的動畫方法,透過新增微妙的動態效果(如植被擺動)同時保持剛性結構,利用時間條件變形場和預訓練影片擴散模型,結合迭代資料集-模型更新策略與組合影片到影片細化方案,實現了自然的環境動態和高質量的新視角影片。

來源arXiv Computer Vision作者: Yen-Chi Cheng, Chen Gao, Chuhan Chen, Tuotuo Li, Rajvi Shah, Ayush Saraf, Changil Kim, Liangyan Gui, Alexander Schwing, Johannes Kopf, Hung-Yu Tseng
AniGS:融合渲染與擴散先驗的3D場景動畫技術
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,大規模複雜場景的新視角渲染技術取得了顯著進展,生成的影像日益逼真。然而,大多數重建結果仍然是靜態的,缺乏使環境真正沉浸的細微動態效果。AniGS(Animation of Gaussian Splatting)正是為應對這一挑戰而提出的方法,它是一種針對3D高斯潑濺(3DGS)重建的場景級動畫技術,能夠為大型、雜亂且可自由導航的3D場景新增微妙且分散式的動態效果,例如植被隨風擺動,同時嚴格保留場景中剛性結構的穩定性。

與現有3D動畫方法不同,現有技術往往侷限於以物體為中心或小區域的動畫,而AniGS專門設計用於大規模、複雜、可自由探索的場景。該方法首先將場景表示為一個規範的3DGS模型,並構建一個時間條件變形場來建模運動。為了對整個場景進行動畫處理,AniGS利用一個預訓練的影片擴散模型作為運動先驗,並創新性地引入了一種迭代資料集-模型更新策略。該策略逐步擴大訓練視角的覆蓋範圍,並透過一個“渲染-細化”迴圈反覆更新固定相機視角下的訓練影片,從而不斷提升動畫的逼真度和一致性。此外,為了防止靜態區域出現不期望的運動而產生視覺偽影,AniGS進一步設計了一種組合式影片到影片細化方案,將運動限制在使用者指定的動態區域內,確保了場景中靜止部分的純淨。

該方法的有效性在五個真實世界的大規模戶外場景上得到了充分驗證。實驗結果表明,AniGS能夠生成自然的動態效果和高質量的新視角影片,顯著增強了重建環境的沉浸式觀看體驗。與現有的基線方法相比,AniGS在運動自然度、視覺質量和視角一致性方面均表現出色。該技術的提出為3D場景動畫領域開闢了新的可能性,尤其適用於虛擬現實、遊戲開發、電影製作以及數字孿生等需要高度沉浸和動態環境的場景。作者團隊已公開專案頁面,並計劃在未來工作中探索更復雜的運動模式和即時應用。

展開要點與分析

文章情報

工程師進階

要點

  • AniGS為靜態3DGS重建場景新增環境運動,如植被搖擺,同時保持剛性結構不變。
  • 方法基於標準3DGS表示和時間條件變形場,利用預訓練影片擴散模型驅動動畫。
  • 提出迭代資料集-模型更新策略逐步擴充套件視角覆蓋,並透過渲染-細化迴圈更新訓練影片。
  • 引入組合影片到影片細化方案,將運動限制在期望區域,避免靜態區域偽影。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。