跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

R$^3$L: 從相對空間關係推理3D佈局

文章摘要

本文提出R$^3$L框架,透過不變空間分解、一致空間想象和支援性空間最佳化,顯著提升基於相對空間關係的3D佈局生成的可靠性和一致性。多跳推理中的參考系變換導致誤差累積,該框架有效緩解了這一問題。實驗表明,R$^3$L能生成物理可行且語義一致的佈局,程式碼已開源。

來源arXiv Computer Vision作者: Zhifeng Gu, Yuqi Wang, Bing Wang
R$^3$L: 從相對空間關係推理3D佈局
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,3D場景佈局生成成為計算機視覺與機器人領域的研究熱點。其中,相對空間關係(如“A在B的左邊”)作為一種緊湊的空間結構表示,是佈局推理的核心。然而,現有方法依賴多模態大語言模型(MLLM)推斷這類關係,但推斷結果往往不可靠,且通常需要事後啟發式修正,限制了實際應用。

在最新arXiv預印本(2605.06758)中,Zhifeng Gu等人提出了R$^3$L框架,旨在從根本上提升相對空間推理的可靠性與一致性。該工作的核心洞察在於:多跳推理(即透過多個關係鏈間接推導空間佈局)需要反覆進行參考系變換,而每次變換都會引入誤差,導致語義和度量上的漂移。例如,從“桌子在椅子左邊”和“花瓶在桌子上方”推斷“花瓶相對椅子的位置”時,參考系不一致會導致累積誤差。

為解決這一問題,R$^3$L框架包含三個關鍵技術:

  1. 不變空間分解(Invariant Spatial Decomposition):將耦合的關係鏈解耦為獨立的不變空間,避免誤差在鏈式推理中傳遞。
  2. 一致空間想象(Consistent Spatial Imagination):透過“想象-修正”迴圈機制,反覆調整佈局以使其自洽,從而增強全域性一致性。
  3. 支援性空間最佳化(Supportive Spatial Optimization):採用從全域性到區域性的座標重引數化策略,簡化姿態最佳化過程,提升計算效率。

研究者在多種場景型別和指令下進行了廣泛實驗,涵蓋室內外佈局、物體堆放等任務。結果表明,R$^3$L生成的佈局在物理可行性(如無穿透、穩定放置)和語義一致性(如符合常識的空間關係)上均顯著優於基線方法。進一步分析表明,解決參考系引起的不一致性是可靠多跳相對空間推理的關鍵。

該工作已被ICML 2026接收,程式碼已在GitHub(https://github.com/Neal2020GitHub/R3L)開源。R$^3$L為3D佈局生成提供了更加魯棒的解決方案,有望推動具身智慧和虛擬現實等領域的發展。

展開要點與分析

文章情報

工程師進階

要點

  • 提出R$^3$L框架,解決多跳相對空間推理中的誤差累積問題
  • 引入不變空間分解解耦關係鏈,一致空間想象透過想象-修正迴圈促進自一致性
  • 支援性空間最佳化採用全域性到區域性的座標重引數化簡化姿態最佳化
  • 實驗驗證佈局物理可行且語義一致,框架適用於多樣場景

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

R$^3$L: 從相對空間關係推理3D佈局 | AI News Hub