本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

AniGS:レンダリングと拡散事前分布を融合した3Dシーンアニメーション

記事の要約

AniGSは、大規模な3Dガウススプラッティング再構成に微かな動き(例えば植生の揺れ)を加えつつ剛体構造を保持する手法です。時間条件付き変形場、事前訓練されたビデオ拡散モデル、反復的なデータセット・モデル更新戦略、および合成ビデオ間リファインメントを活用し、自然な環境動態と高品質な新規視点映像を実現します。

ソースarXiv Computer Vision著者: Yen-Chi Cheng, Chen Gao, Chuhan Chen, Tuotuo Li, Rajvi Shah, Ayush Saraf, Changil Kim, Liangyan Gui, Alexander Schwing, Johannes Kopf, Hung-Yu Tseng
AniGS:レンダリングと拡散事前分布を融合した3Dシーンアニメーション
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

近年、大規模で複雑な再構成シーンの新規視点レンダリングはますますフォトリアリスティックになっていますが、ほとんどの再構成は静的であり、環境を没入感のあるものにする微妙な動きが欠けています。AniGSは、3Dガウススプラッティング(3DGS)再構成のシーンレベルアニメーション手法であり、植生の動きのような分散した動的効果を追加しつつ、剛体構造を保持します。既存の3Dアニメーション技術がオブジェクト中心または小領域に限定されているのに対し、AniGSは大規模で雑然としたナビゲーション可能なシーン向けに設計されています。

AniGSはシーンを標準的な3DGSで表現し、時間条件付き変形場を使用して動きをモデル化します。シーン全体をアニメーション化するために、事前訓練されたビデオ拡散モデルを活用し、反復的なデータセット・モデル更新戦略を導入します。この戦略は視点カバレッジを段階的に拡大し、レンダリングとリファインメントのサイクルを通じてカメラ固定の訓練ビデオを繰り返し更新します。さらに、静的領域での意図しない動きによるアーティファクトを防ぐため、合成ビデオ間リファインメント方式を導入し、動きを目的領域に制限します。

5つの実世界の大規模屋外シーンでの実験により、AniGSが自然な環境動態と高品質な新規視点映像を生成し、再構築された環境の没入型視聴体験を向上させることが実証されました。既存手法との比較においても、AniGSは動きの自然さ、視覚品質、視点一貫性の面で優れた結果を示しています。本手法は、仮想現実、ゲーム、映画制作など、高度な没入感と動的な環境が求められる分野での応用が期待されます。著者らはプロジェクトページを公開しており、今後はより複雑な動きやリアルタイムアプリケーションへの拡張を計画しています。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • AniGSは静的な3DGS再構成に環境動態(植生の動きなど)を追加し、剛体構造は維持する。
  • 標準的な3DGS表現と時間条件付き変形場を使用し、ビデオ拡散事前分布で駆動する。
  • 反復的なデータセット・モデル更新戦略により視点カバレッジを段階的に拡大し、訓練ビデオを洗練する。
  • 合成ビデオ間リファインメントにより動きを目的領域に制限し、静的領域のアーティファクトを防止する。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。