跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

R$^3$L: 从相对空间关系推理3D布局

文章摘要

本文提出R$^3$L框架,通过不变空间分解、一致空间想象和支持性空间优化,显著提升基于相对空间关系的3D布局生成的可靠性和一致性。多跳推理中的参考系变换导致误差累积,该框架有效缓解了这一问题。实验表明,R$^3$L能生成物理可行且语义一致的布局,代码已开源。

来源arXiv Computer Vision作者: Zhifeng Gu, Yuqi Wang, Bing Wang
R$^3$L: 从相对空间关系推理3D布局
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近年来,3D场景布局生成成为计算机视觉与机器人领域的研究热点。其中,相对空间关系(如“A在B的左边”)作为一种紧凑的空间结构表示,是布局推理的核心。然而,现有方法依赖多模态大语言模型(MLLM)推断这类关系,但推断结果往往不可靠,且通常需要事后启发式修正,限制了实际应用。

在最新arXiv预印本(2605.06758)中,Zhifeng Gu等人提出了R$^3$L框架,旨在从根本上提升相对空间推理的可靠性与一致性。该工作的核心洞察在于:多跳推理(即通过多个关系链间接推导空间布局)需要反复进行参考系变换,而每次变换都会引入误差,导致语义和度量上的漂移。例如,从“桌子在椅子左边”和“花瓶在桌子上方”推断“花瓶相对椅子的位置”时,参考系不一致会导致累积误差。

为解决这一问题,R$^3$L框架包含三个关键技术:

  1. 不变空间分解(Invariant Spatial Decomposition):将耦合的关系链解耦为独立的不变空间,避免误差在链式推理中传递。
  2. 一致空间想象(Consistent Spatial Imagination):通过“想象-修正”循环机制,反复调整布局以使其自洽,从而增强全局一致性。
  3. 支持性空间优化(Supportive Spatial Optimization):采用从全局到局部的坐标重参数化策略,简化姿态优化过程,提升计算效率。

研究者在多种场景类型和指令下进行了广泛实验,涵盖室内外布局、物体堆放等任务。结果表明,R$^3$L生成的布局在物理可行性(如无穿透、稳定放置)和语义一致性(如符合常识的空间关系)上均显著优于基线方法。进一步分析表明,解决参考系引起的不一致性是可靠多跳相对空间推理的关键。

该工作已被ICML 2026接收,代码已在GitHub(https://github.com/Neal2020GitHub/R3L)开源。R$^3$L为3D布局生成提供了更加鲁棒的解决方案,有望推动具身智能和虚拟现实等领域的发展。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出R$^3$L框架,解决多跳相对空间推理中的误差累积问题
  • 引入不变空间分解解耦关系链,一致空间想象通过想象-修正循环促进自一致性
  • 支持性空间优化采用全局到局部的坐标重参数化简化姿态优化
  • 实验验证布局物理可行且语义一致,框架适用于多样场景

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。