3D環境に対する自然言語クエリが実用的であるためには、応答が検証可能でメトリックを含む必要があります。検証可能性は参照された3D領域への明示的なグラウンディングを要求し、メトリック応答は物理的な測定値（サイズ、厚さ、クリアランス、距離など）を報告します。既存の3D大規模マルチモーダルモデル（LMM）では、対話システムが明示的な3Dグラウンディングなしで応答するか、グラウンディングモデルが対話向けに設計されていないという限界がありました。
本論文では、点群とオプションのRGB画像を入力とし、3D空間対話を可能にする統一モデルGround3D-LMMを提案します。このモデルは（i）点グラウンディング応答と（ii）オブジェクトおよびパーツ粒度でのメトリック数値出力（マルチオブジェクトクエリを含む）をサポートします。グラウンディングと計測の交差点を評価するため、3Dグラウンディング計測タスクを定義し、参照された3D領域とそのメトリック量を実世界単位で予測することを求めます。
研究チームはScanNetおよびScanNet++データセットに基づき、密なオブジェクトとパーツのアノテーションと、8つのタスクにわたる約250万の質問応答ペアを含む大規模データセットを構築し、手動検証されたテストセットも提供しています。複数のデータセットとタスクでの広範な実験により、提案されたGround3D-LMMはグラウンディングされメトリック認識可能な3D対話理解の強力なベースラインを提供します。データセットとモデルは公開されています。