4Dガウシアンスプラッティング(4DGS)に基づく動的表現は、再構成やレンダリングにおいて高い能力を示してきた。しかし、動的シーンにおける複雑な自然言語参照を支える点では、既存手法には限界が残っている。現在の4Dガウシアン手法は主にレンダリング志向の動的モデリングとして設計されており、意味論的な拡張はシーンごとの意味最適化に依存するか、比較的単純なクエリ設定での評価にとどまっている。
そこで本論文は「Referring 4D Gaussian Splatting(R4DGS)」というタスクを設定し、研究対象とする。これは動的な4Dシーンにおいて、自然言語表現が指す対象を特定する課題であり、時間とともに変化する表現、複数対象を含む表現、推論を要する表現、さらには対象が存在しない表現や妨害的な表現まで扱う点に特徴がある。
このタスクを支えるため、著者らはR4D-Bench-QAを構築した。構造化されたクエリ注釈を備えたベンチマークであり、上述のような複雑な参照設定を体系的に検証できる。
手法としては、4DGS上に構築した統合フレームワークReferGaussianを提案する。低レベルの動的ガウシアンを、持続的で言語から指定可能な実体へと変換することで、訓練不要の参照推論を可能にする。具体的には、マスクに支持されたガウシアン実体をEntityBankに整理し、マルチモーダル大規模言語モデル(MLLM)を用いて複雑なクエリを追跡可能な対象句と構造化された参照制約へと分解する。そのうえで、シーン固有の意味最適化を行わずに、制約を考慮したグラウンディングを実行する。
評価はR4D-Bench-QAおよび4D LangSplatプロトコルで行われ、時間方向の対象選択が改善されるとともに、シーン固有の意味訓練なしで競争力のある時空間グラウンディングが示された。
論文は全10ページで、ACM Multimedia 2026に採択されている。コードやプロジェクトのリソースはプロジェクトページで公開されている。