跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

幾何學習與推理:生成如何助力空間理解

文章摘要

研究者提出統一幾何理解與生成模型GeoUG,將深度與多視角生成同空間理解整合,並引入3DCueBench基準與自適應交錯推理,在多項3D空間任務上以更少生成呼叫取得高精度。

來源arXiv Computer Vision作者: Rui Yang, Yanwei Li, Sili Chen, Jingjia Huang, Yi Lin, Hengshuang Zhao
幾何學習與推理:生成如何助力空間理解
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

影像與影片生成模型已經能夠產出空間上一致的視覺內容,但如何藉助這種生成能力來提升機器的空間理解,一直缺乏系統研究。來自 arXiv 的論文《Learning and Reasoning with Geometry: How Generation Helps Spatial Understanding》由 Rui Yang 等六位作者完成,從訓練階段的幾何監督和推理階段的顯式幾何證據兩個角度切入,提出了統一的幾何理解與生成模型 GeoUG。

GeoUG 的核心設計是把深度生成、多視角生成與空間理解整合進同一個模型。為此,研究團隊設計了一種多尺度深度編解碼器,使預訓練的視覺自編碼器能夠生成具有真實度量尺度的深度圖,而不僅僅是視覺上合理的深度外觀。實驗表明,把深度與多視角生成和空間理解任務聯合訓練,會在不同任務上帶來有差異的增益,說明生成能力對理解的幫助並非均勻分佈,而是與任務型別密切相關。

為了更清楚地刻畫這種關係,作者還構建了 3DCueBench 基準。該基準的特點是可以控制幾何難度,同時平衡所選取的 2D 線索,從而避免模型僅憑二維線索就能猜對答案。研究發現,生成的深度資訊在需要細粒度幾何判別的題目上帶來更大的推理收益,而在較粗粒度的空間判斷上幫助有限。這一發現直接啟發了模型的推理策略設計。

基於上述結論,論文提出了自適應交錯推理:GeoUG 先給出一個草擬答案,然後判斷是否需要生成幾何證據來確認或修正這個答案。是否生成證據的決策透過強化學習訓練,目標是在草稿準確率帶來的收益與生成幾何證據的計算成本之間取得平衡。這種機制避免了“總是生成”帶來的昂貴開銷,也避免了“完全不生成”在難題上的準確率損失。

在結果上,GeoUG 在 CV-Bench-3D、3DCueBench 和 DA-2K 上分別取得 97.9%、90.8% 和 94.2% 的迴圈準確率,並且相比始終生成幾何證據的做法使用了更少的生成呼叫。論文還提供了專案演示連結,歸類於計算機視覺與模式識別方向,提交時間為 2026 年 10 月 26 日。整體來看,這項工作為“生成式模型能否以及如何反哺空間理解”提供了一個可復現的框架、一個可控的評測基準,以及一套兼顧準確率與推理成本的自適應推理思路。

展開要點與分析

文章情報

工程師進階

要點

  • GeoUG統一了深度與多視角生成和空間理解,聯合訓練在不同任務上帶來差異化收益
  • 新基準3DCueBench可控制幾何難度並平衡2D線索,顯示生成深度對細粒度幾何判別幫助更大
  • 自適應交錯推理先草擬答案,再用強化學習決定是否生成幾何證據來確認或修正
  • 在CV-Bench-3D、3DCueBench和DA-2K上分別達到97.9%、90.8%和94.2%的迴圈準確率,且生成呼叫更少

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。