跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

几何学习与推理:生成如何助力空间理解

文章摘要

研究者提出统一几何理解与生成模型GeoUG,将深度与多视角生成同空间理解集成,并引入3DCueBench基准与自适应交错推理,在多项3D空间任务上以更少生成调用取得高精度。

来源arXiv Computer Vision作者: Rui Yang, Yanwei Li, Sili Chen, Jingjia Huang, Yi Lin, Hengshuang Zhao
几何学习与推理:生成如何助力空间理解
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

图像与视频生成模型已经能够产出空间上一致的视觉内容,但如何借助这种生成能力来提升机器的空间理解,一直缺乏系统研究。来自 arXiv 的论文《Learning and Reasoning with Geometry: How Generation Helps Spatial Understanding》由 Rui Yang 等六位作者完成,从训练阶段的几何监督和推理阶段的显式几何证据两个角度切入,提出了统一的几何理解与生成模型 GeoUG。

GeoUG 的核心设计是把深度生成、多视角生成与空间理解整合进同一个模型。为此,研究团队设计了一种多尺度深度编解码器,使预训练的视觉自编码器能够生成具有真实度量尺度的深度图,而不仅仅是视觉上合理的深度外观。实验表明,把深度与多视角生成和空间理解任务联合训练,会在不同任务上带来有差异的增益,说明生成能力对理解的帮助并非均匀分布,而是与任务类型密切相关。

为了更清楚地刻画这种关系,作者还构建了 3DCueBench 基准。该基准的特点是可以控制几何难度,同时平衡所选取的 2D 线索,从而避免模型仅凭二维线索就能猜对答案。研究发现,生成的深度信息在需要细粒度几何判别的题目上带来更大的推理收益,而在较粗粒度的空间判断上帮助有限。这一发现直接启发了模型的推理策略设计。

基于上述结论,论文提出了自适应交错推理:GeoUG 先给出一个草拟答案,然后判断是否需要生成几何证据来确认或修正这个答案。是否生成证据的决策通过强化学习训练,目标是在草稿准确率带来的收益与生成几何证据的计算成本之间取得平衡。这种机制避免了“总是生成”带来的昂贵开销,也避免了“完全不生成”在难题上的准确率损失。

在结果上,GeoUG 在 CV-Bench-3D、3DCueBench 和 DA-2K 上分别取得 97.9%、90.8% 和 94.2% 的循环准确率,并且相比始终生成几何证据的做法使用了更少的生成调用。论文还提供了项目演示链接,归类于计算机视觉与模式识别方向,提交时间为 2026 年 10 月 26 日。整体来看,这项工作为“生成式模型能否以及如何反哺空间理解”提供了一个可复现的框架、一个可控的评测基准,以及一套兼顾准确率与推理成本的自适应推理思路。

展开要点与分析

文章情报

工程师进阶

要点

  • GeoUG统一了深度与多视角生成和空间理解,联合训练在不同任务上带来差异化收益
  • 新基准3DCueBench可控制几何难度并平衡2D线索,显示生成深度对细粒度几何判别帮助更大
  • 自适应交错推理先草拟答案,再用强化学习决定是否生成几何证据来确认或修正
  • 在CV-Bench-3D、3DCueBench和DA-2K上分别达到97.9%、90.8%和94.2%的循环准确率,且生成调用更少

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。