Ground3D-LMM: 基于LMM的细粒度3D点云定位与空间推理
Ground3D-LMM是一个统一模型，输入点云和可选RGB图像，支持具有明确点定位和度量输出的3D空间对话。它定义了3D接地测量任务，并基于ScanNet构建了包含250万问答对的大型数据集，为接地且度量感知的3D对话理解建立了强基线。
来源arXiv Computer Vision作者: Amol Harsh, Zongyan Han, Jean Lahoud, Ye Liu, Rao Muhammad Anwer, Hisham Cholakkal, Salman Khan, Fahad Khan
在3D环境理解领域，自然语言查询的可操作性和可验证性是关键挑战。传统的3D大型多模态模型（LMM）在对话时往往无法提供明确的3D定位，而专门的3D定位模型又缺乏交互式、带度量输出的对话能力。为解决这一矛盾，研究人员提出了Ground3D-LMM，这是一个统一的端到端模型，输入点云和可选的RGB图像，能够进行3D空间对话，不仅输出点级别的定位响应，还能提供对象和部件粒度的度量数值（如尺寸、厚度、间隙和距离），甚至支持多对象查询。
为了评估定位与测量相结合的任务，该论文定义了3D接地测量（3D Grounded Measurement）任务，要求模型预测所指3D区域及其对应的真实世界度量值。在此基础上，研究团队基于ScanNet和ScanNet++数据集构建了一个大规模数据集，包含密集的对象和部件标注，以及约250万个问答对，覆盖八项不同任务，并提供了人工验证的测试集。该数据集的体量和多样性为后续研究提供了坚实的基准。
实验表明，Ground3D-LMM在多个数据集和任务上均表现出强劲的性能，尤其是在需要同时进行定位和度量的场景中。该模型为接地且度量感知的3D对话理解设立了新的基线。目前，代码、模型和数据集均已公开，供学术界和工业界进一步探索和应用。