屋内環境では、人間の活動やエージェントの相互作用により物体の位置が頻繁に変化するため、以前に構築されたシーングラフが現在のシーンと一致しなくなることがあります。例えば、ロボットが「カップはテーブルの上にある」と記録した後、誰かがカップを移動させると、その情報は古くなります。このような不一致は、ロボットのナビゲーション、操作、対話タスクの性能に深刻な影響を与える可能性があります。この問題に対処するため、研究者らは、物体変化を検出して空間関係推論を行う動的3Dシーングラフ構築フレームワークDSGを提案しました。
DSGフレームワークはまず、意味認識型の3Dガウスシーン表現を構築します。この表現は環境の高忠実度モデルとして機能し、物体の幾何学、外観、意味情報を捉え、その後の変化検出の強固な基盤となります。この基盤の上で、研究者らはデュアルビュー描画に基づく物体変化検出方法を開発しました。異なる視点からシーンを描画し、描画結果と現在の観測を比較することで、DSGはどの物体に変化が生じたかを確実に識別し、シーングラフのノードを動的に更新します。この方法は、物体の追加、除去、移動を正確に検出するだけでなく、部分的な遮蔽などの複雑な状況にも対応し、変化検出の堅牢性を向上させます。
空間関係推論の能力を高めるために、DSGは多粒度の視覚的文脈を組み込んだ方法を提案しています。従来の方法は、しばしばグローバルなシーン特徴や局所領域情報のみに依存し、微妙な空間関係を捉えることが困難でした。DSGは、グローバルな意味情報、物体レベルの特徴、局所領域の詳細を統合することで、大規模言語モデルに豊富な視覚的文脈を提供します。これにより、モデルは「カップがテーブルの隣にあるが、少し左にずれている」といった細粒度の関係を識別でき、より正確なシーングラフのエッジを生成します。この方法は、ロボットの複雑な空間レイアウトの理解を大幅に強化し、動的環境での合理的な意思決定を支援します。
さらに、研究者らは動的屋内シーングラフベンチマークであるDynTHORを紹介しました。これはAI2-THORシミュレーションプラットフォーム上に構築されています。AI2-THORは、高度に現実的な屋内シーンとインタラクティブなオブジェクトを提供し、動的環境でのシーングラフ構築の評価のための標準化されたテスト環境を提供します。DynTHORには多様なシーンタイプと動的変化パターンが含まれており、研究者はさまざまな方法の性能を体系的に評価できます。DynTHORでの初期実験では、DSGは物体ノード構築と空間関係推論の両方で既存手法を上回り、動的シーングラフ構築の精度を大幅に向上させることが示されました。
DSGの汎化能力を検証するために、研究者らは3RScanデータセットおよび実世界のシーンでもテストを行いました。3RScanには多くの実際の屋内環境のRGB-Dスキャンが含まれており、困難な動的変化シナリオを提供します。実験結果は、DSGがこれらのデータセットでも優れた性能を発揮し、さまざまな環境での有効性を証明しました。実世界実験は、DSGの実際の応用における可能性をさらに実証しました。
DSGフレームワークの成功は、その多層的な革新的設計によるものです。意味認識型ガウス表現からデュアルビュー描画による変化検出、多粒度コンテキストによる関係推論まで、各コンポーネントは動的シーングラフ構築における重要な課題に対処しています。この研究は、動的環境におけるロボットの知覚とインタラクションに重要な技術的サポートを提供し、家庭サービス、倉庫物流などの分野での具身知能の応用を推進することが期待されます。将来、研究者らはDSGの計算効率をさらに最適化し、より複雑な3Dシーンやリアルタイムアプリケーションへの拡張を探求する予定です。