跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

R4DGS:4D高斯潑濺中的指代分割

文章摘要

該論文提出“指代式4D高斯潑濺”(R4DGS)任務,旨在動態4D場景中根據自然語言表達定位目標,涵蓋隨時間變化、多目標、需要推理以及無目標或干擾性表達等情況;作者同時釋出結構化查詢標註基準R4D-Bench-QA,並提出基於4DGS的統一框架ReferGaussian,透過EntityBank與多模態大模型實現無需場景特定語義最佳化的免訓練指代推理。

來源arXiv Computer Vision作者: Bangpu Chen, Yaxuan Li, Shirui Peng, Xiangtian Si, Liuxin Chu, Xitong Cao, Hongbo Jin, Jiayu Ding
R4DGS:4D高斯潑濺中的指代分割
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 10 月 21 日(週三)18:42:09 UTC 收錄了論文《R4DGS: Referring Segmentation in 4D Gaussian Splatting》(4D 高斯潑濺中的指代分割),該文由 Bangpu Chen 與另外 7 位作者共同完成,全文約 10 頁,已被 ACM Multimedia 2026 接收,專案主頁為 https://chenbangpu.github.io/R4DGS/。論文以 arXiv:2610.30326v1 釋出,歸類於計算機視覺與模式識別(cs.CV),DOI 為 10.34550/arXiv.2610.30326(DataCite 註冊尚待完成),提交包大小約 37,346 KB。

論文指出的核心問題是:基於 4D Gaussian Splatting(4DGS)的動態表示在重建與渲染方面已展現出很強能力,但現有方法在支援動態場景中的複雜自然語言指代方面仍存在明顯侷限。作者分析,現有 4D 高斯方法主要面向渲染導向的動態建模,而當前的語義擴充套件往往依賴針對特定場景的語義最佳化,或者僅在相對簡單的查詢設定下進行評估。換言之,這些方法難以直接應對真實場景中隨時間變化、涉及多目標、需要推理,甚至完全不存在目標(存在干擾項)的自然語言表達。

針對這一空白,論文正式提出“Referring 4D Gaussian Splatting(R4DGS)”任務,其目標是在動態 4D 場景中對以下幾類表達進行定位:隨時間變化的目標、多目標或推理密集型查詢,以及零目標或含干擾項的表達。為支撐該任務,作者構建了 R4D-Bench-QA 基準,其特點是帶有結構化的查詢標註,而不僅是簡單的語義標籤,從而能夠系統評估模型對複雜查詢的解析與時空定位能力。

在方法層面,論文提出統一框架 ReferGaussian,構建於 4DGS 之上,將底層的動態高斯轉化為持久、可被語言定址的實體,以支援免訓練的指代推理。具體而言,ReferGaussian 在 EntityBank 中組織帶掩碼支援的高斯實體;藉助多模態大語言模型(MLLMs)將複雜查詢分解為可追蹤的物體短語和結構化指代約束;隨後執行約束感知的定位,且無需針對特定場景進行語義最佳化。這一設計使模型不必為每個新場景重新訓練語義分支,從而提升了泛化與部署的便利性。

實驗結果方面,論文在 R4D-Bench-QA 以及 4D LangSplat 協議上進行了評估,結果顯示在時間維度上的目標選擇能力有所提升,並在不進行場景特定語義訓練的前提下取得了有競爭力的時空定位表現。作者同時提供了 PDF、實驗性 HTML 版本和 TeX 原始碼等全文連結,論文附有音訊摘要,並可透過 alphaXiv、Hugging Face、Connected Papers 等工具進一步檢索相關程式碼與文獻。需要指出的是,上述結論均基於論文作者提供的基準與協議,具體數值與消融細節應以原文及專案主頁公佈的材料為準。

展開要點與分析

文章情報

工程師進階

要點

  • 提出R4DGS任務,要求在不依賴場景特定語義最佳化的情況下,於動態4D場景中完成自然語言指代定位。
  • 釋出R4D-Bench-QA基準,包含結構化查詢標註,覆蓋多目標、推理密集、零目標與干擾表達等複雜設定。
  • ReferGaussian將動態高斯組織為EntityBank中可被語言定址的持久實體,並藉助MLLM把複雜查詢分解為可跟蹤的物件短語和結構化指代約束。
  • 在R4D-Bench-QA與4D LangSplat協議上,該方法提升了時間維度的目標選擇能力,並取得有競爭力的時空定位表現;論文已被ACM Multimedia 2026接收。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。