近年来,3D场景布局生成成为计算机视觉与机器人领域的研究热点。其中,相对空间关系(如“A在B的左边”)作为一种紧凑的空间结构表示,是布局推理的核心。然而,现有方法依赖多模态大语言模型(MLLM)推断这类关系,但推断结果往往不可靠,且通常需要事后启发式修正,限制了实际应用。
在最新arXiv预印本(2605.06758)中,Zhifeng Gu等人提出了R$^3$L框架,旨在从根本上提升相对空间推理的可靠性与一致性。该工作的核心洞察在于:多跳推理(即通过多个关系链间接推导空间布局)需要反复进行参考系变换,而每次变换都会引入误差,导致语义和度量上的漂移。例如,从“桌子在椅子左边”和“花瓶在桌子上方”推断“花瓶相对椅子的位置”时,参考系不一致会导致累积误差。
为解决这一问题,R$^3$L框架包含三个关键技术:
- 不变空间分解(Invariant Spatial Decomposition):将耦合的关系链解耦为独立的不变空间,避免误差在链式推理中传递。
- 一致空间想象(Consistent Spatial Imagination):通过“想象-修正”循环机制,反复调整布局以使其自洽,从而增强全局一致性。
- 支持性空间优化(Supportive Spatial Optimization):采用从全局到局部的坐标重参数化策略,简化姿态优化过程,提升计算效率。
研究者在多种场景类型和指令下进行了广泛实验,涵盖室内外布局、物体堆放等任务。结果表明,R$^3$L生成的布局在物理可行性(如无穿透、稳定放置)和语义一致性(如符合常识的空间关系)上均显著优于基线方法。进一步分析表明,解决参考系引起的不一致性是可靠多跳相对空间推理的关键。
该工作已被ICML 2026接收,代码已在GitHub(https://github.com/Neal2020GitHub/R3L)开源。R$^3$L为3D布局生成提供了更加鲁棒的解决方案,有望推动具身智能和虚拟现实等领域的发展。