近年來,3D場景佈局生成成為計算機視覺與機器人領域的研究熱點。其中,相對空間關係(如“A在B的左邊”)作為一種緊湊的空間結構表示,是佈局推理的核心。然而,現有方法依賴多模態大語言模型(MLLM)推斷這類關係,但推斷結果往往不可靠,且通常需要事後啟發式修正,限制了實際應用。
在最新arXiv預印本(2605.06758)中,Zhifeng Gu等人提出了R$^3$L框架,旨在從根本上提升相對空間推理的可靠性與一致性。該工作的核心洞察在於:多跳推理(即透過多個關係鏈間接推導空間佈局)需要反覆進行參考系變換,而每次變換都會引入誤差,導致語義和度量上的漂移。例如,從“桌子在椅子左邊”和“花瓶在桌子上方”推斷“花瓶相對椅子的位置”時,參考系不一致會導致累積誤差。
為解決這一問題,R$^3$L框架包含三個關鍵技術:
- 不變空間分解(Invariant Spatial Decomposition):將耦合的關係鏈解耦為獨立的不變空間,避免誤差在鏈式推理中傳遞。
- 一致空間想象(Consistent Spatial Imagination):透過“想象-修正”迴圈機制,反覆調整佈局以使其自洽,從而增強全域性一致性。
- 支援性空間最佳化(Supportive Spatial Optimization):採用從全域性到區域性的座標重引數化策略,簡化姿態最佳化過程,提升計算效率。
研究者在多種場景型別和指令下進行了廣泛實驗,涵蓋室內外佈局、物體堆放等任務。結果表明,R$^3$L生成的佈局在物理可行性(如無穿透、穩定放置)和語義一致性(如符合常識的空間關係)上均顯著優於基線方法。進一步分析表明,解決參考系引起的不一致性是可靠多跳相對空間推理的關鍵。
該工作已被ICML 2026接收,程式碼已在GitHub(https://github.com/Neal2020GitHub/R3L)開源。R$^3$L為3D佈局生成提供了更加魯棒的解決方案,有望推動具身智慧和虛擬現實等領域的發展。