跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

R4DGS:4D高斯泼溅中的指代分割

文章摘要

该论文提出“指代式4D高斯泼溅”(R4DGS)任务,旨在动态4D场景中根据自然语言表达定位目标,涵盖随时间变化、多目标、需要推理以及无目标或干扰性表达等情况;作者同时发布结构化查询标注基准R4D-Bench-QA,并提出基于4DGS的统一框架ReferGaussian,通过EntityBank与多模态大模型实现无需场景特定语义优化的免训练指代推理。

来源arXiv Computer Vision作者: Bangpu Chen, Yaxuan Li, Shirui Peng, Xiangtian Si, Liuxin Chu, Xitong Cao, Hongbo Jin, Jiayu Ding
R4DGS:4D高斯泼溅中的指代分割
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 10 月 21 日(周三)18:42:09 UTC 收录了论文《R4DGS: Referring Segmentation in 4D Gaussian Splatting》(4D 高斯泼溅中的指代分割),该文由 Bangpu Chen 与另外 7 位作者共同完成,全文约 10 页,已被 ACM Multimedia 2026 接收,项目主页为 https://chenbangpu.github.io/R4DGS/。论文以 arXiv:2610.30326v1 发布,归类于计算机视觉与模式识别(cs.CV),DOI 为 10.34550/arXiv.2610.30326(DataCite 注册尚待完成),提交包大小约 37,346 KB。

论文指出的核心问题是:基于 4D Gaussian Splatting(4DGS)的动态表示在重建与渲染方面已展现出很强能力,但现有方法在支持动态场景中的复杂自然语言指代方面仍存在明显局限。作者分析,现有 4D 高斯方法主要面向渲染导向的动态建模,而当前的语义扩展往往依赖针对特定场景的语义优化,或者仅在相对简单的查询设定下进行评估。换言之,这些方法难以直接应对真实场景中随时间变化、涉及多目标、需要推理,甚至完全不存在目标(存在干扰项)的自然语言表达。

针对这一空白,论文正式提出“Referring 4D Gaussian Splatting(R4DGS)”任务,其目标是在动态 4D 场景中对以下几类表达进行定位:随时间变化的目标、多目标或推理密集型查询,以及零目标或含干扰项的表达。为支撑该任务,作者构建了 R4D-Bench-QA 基准,其特点是带有结构化的查询标注,而不仅是简单的语义标签,从而能够系统评估模型对复杂查询的解析与时空定位能力。

在方法层面,论文提出统一框架 ReferGaussian,构建于 4DGS 之上,将底层的动态高斯转化为持久、可被语言寻址的实体,以支持免训练的指代推理。具体而言,ReferGaussian 在 EntityBank 中组织带掩码支持的高斯实体;借助多模态大语言模型(MLLMs)将复杂查询分解为可追踪的物体短语和结构化指代约束;随后执行约束感知的定位,且无需针对特定场景进行语义优化。这一设计使模型不必为每个新场景重新训练语义分支,从而提升了泛化与部署的便利性。

实验结果方面,论文在 R4D-Bench-QA 以及 4D LangSplat 协议上进行了评估,结果显示在时间维度上的目标选择能力有所提升,并在不进行场景特定语义训练的前提下取得了有竞争力的时空定位表现。作者同时提供了 PDF、实验性 HTML 版本和 TeX 源码等全文链接,论文附有音频摘要,并可通过 alphaXiv、Hugging Face、Connected Papers 等工具进一步检索相关代码与文献。需要指出的是,上述结论均基于论文作者提供的基准与协议,具体数值与消融细节应以原文及项目主页公布的材料为准。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出R4DGS任务,要求在不依赖场景特定语义优化的情况下,于动态4D场景中完成自然语言指代定位。
  • 发布R4D-Bench-QA基准,包含结构化查询标注,覆盖多目标、推理密集、零目标与干扰表达等复杂设定。
  • ReferGaussian将动态高斯组织为EntityBank中可被语言寻址的持久实体,并借助MLLM把复杂查询分解为可跟踪的对象短语和结构化指代约束。
  • 在R4D-Bench-QA与4D LangSplat协议上,该方法提升了时间维度的目标选择能力,并取得有竞争力的时空定位表现;论文已被ACM Multimedia 2026接收。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。