在3D環境理解領域，自然語言查詢的可操作性和可驗證性是關鍵挑戰。傳統的3D大型多模態模型（LMM）在對話時往往無法提供明確的3D定位，而專門的3D定位模型又缺乏交互式、帶度量輸出的對話能力。為解決這一矛盾，研究人員提出了Ground3D-LMM，這是一個統一的端到端模型，輸入點雲和可選的RGB圖像，能夠進行3D空間對話，不僅輸出點級別的定位響應，還能提供對象和部件粒度的度量數值（如尺寸、厚度、間隙和距離），甚至支持多對象查詢。
為了評估定位與測量相結合的任務，該論文定義了3D接地測量（3D Grounded Measurement）任務，要求模型預測所指3D區域及其對應的真實世界度量值。在此基礎上，研究團隊基於ScanNet和ScanNet++數據集構建了一個大規模數據集，包含密集的對象和部件標註，以及約250萬個問答對，覆蓋八項不同任務，並提供了人工驗證的測試集。該數據集的體量和多樣性為後續研究提供了堅實的基準。
實驗表明，Ground3D-LMM在多個數據集和任務上均表現出強勁的性能，尤其是在需要同時進行定位和度量的場景中。該模型為接地且度量感知的3D對話理解設立了新的基線。目前，代碼、模型和數據集均已公開，供學術界和工業界進一步探索和應用。