本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

R4DGS:4Dガウシアンスプラッティングにおける参照セグメンテーション

記事の要約

本論文は、動的な4Dシーンにおいて自然言語表現が指す対象を特定する「Referring 4D Gaussian Splatting(R4DGS)」タスクを提案する。時間的に変化する表現、複数対象、推論を要する表現、対象が存在しない表現や妨害的表現まで対象とする。構造化されたクエリ注釈を備えたベンチマークR4D-Bench-QAを公開し、さらに4DGS上に構築した統合フレームワークReferGaussianを提示する。これはEntityBankとマルチモーダル大規模言語モデル(MLLM)を用い、シーン固有の意味最適化を必要とせずに訓練不要の参照推論を実現する。

ソースarXiv Computer Vision著者: Bangpu Chen, Yaxuan Li, Shirui Peng, Xiangtian Si, Liuxin Chu, Xitong Cao, Hongbo Jin, Jiayu Ding
R4DGS:4Dガウシアンスプラッティングにおける参照セグメンテーション
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

4Dガウシアンスプラッティング(4DGS)に基づく動的表現は、再構成やレンダリングにおいて高い能力を示してきた。しかし、動的シーンにおける複雑な自然言語参照を支える点では、既存手法には限界が残っている。現在の4Dガウシアン手法は主にレンダリング志向の動的モデリングとして設計されており、意味論的な拡張はシーンごとの意味最適化に依存するか、比較的単純なクエリ設定での評価にとどまっている。

そこで本論文は「Referring 4D Gaussian Splatting(R4DGS)」というタスクを設定し、研究対象とする。これは動的な4Dシーンにおいて、自然言語表現が指す対象を特定する課題であり、時間とともに変化する表現、複数対象を含む表現、推論を要する表現、さらには対象が存在しない表現や妨害的な表現まで扱う点に特徴がある。

このタスクを支えるため、著者らはR4D-Bench-QAを構築した。構造化されたクエリ注釈を備えたベンチマークであり、上述のような複雑な参照設定を体系的に検証できる。

手法としては、4DGS上に構築した統合フレームワークReferGaussianを提案する。低レベルの動的ガウシアンを、持続的で言語から指定可能な実体へと変換することで、訓練不要の参照推論を可能にする。具体的には、マスクに支持されたガウシアン実体をEntityBankに整理し、マルチモーダル大規模言語モデル(MLLM)を用いて複雑なクエリを追跡可能な対象句と構造化された参照制約へと分解する。そのうえで、シーン固有の意味最適化を行わずに、制約を考慮したグラウンディングを実行する。

評価はR4D-Bench-QAおよび4D LangSplatプロトコルで行われ、時間方向の対象選択が改善されるとともに、シーン固有の意味訓練なしで競争力のある時空間グラウンディングが示された。

論文は全10ページで、ACM Multimedia 2026に採択されている。コードやプロジェクトのリソースはプロジェクトページで公開されている。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • R4DGSタスクを定義し、動的4Dシーンにおける多対象・推論重視・ゼロ対象・妨害表現を含む言語参照を扱う。
  • 構造化されたクエリ注釈を備えたベンチマークR4D-Bench-QAを公開。
  • ReferGaussianは動的ガウシアンをEntityBank内の持続的で言語により指定可能な実体に変換し、MLLMで複雑なクエリを追跡可能な対象句と構造化された参照制約に分解する。
  • R4D-Bench-QAと4D LangSplatプロトコルにおいて、シーン固有の意味訓練なしに時間的な対象選択の改善と競争力のある時空間グラウンディングを示し、ACM Multimedia 2026に採択された。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。