影像與影片生成模型已經能夠產出空間上一致的視覺內容,但如何藉助這種生成能力來提升機器的空間理解,一直缺乏系統研究。來自 arXiv 的論文《Learning and Reasoning with Geometry: How Generation Helps Spatial Understanding》由 Rui Yang 等六位作者完成,從訓練階段的幾何監督和推理階段的顯式幾何證據兩個角度切入,提出了統一的幾何理解與生成模型 GeoUG。
GeoUG 的核心設計是把深度生成、多視角生成與空間理解整合進同一個模型。為此,研究團隊設計了一種多尺度深度編解碼器,使預訓練的視覺自編碼器能夠生成具有真實度量尺度的深度圖,而不僅僅是視覺上合理的深度外觀。實驗表明,把深度與多視角生成和空間理解任務聯合訓練,會在不同任務上帶來有差異的增益,說明生成能力對理解的幫助並非均勻分佈,而是與任務型別密切相關。
為了更清楚地刻畫這種關係,作者還構建了 3DCueBench 基準。該基準的特點是可以控制幾何難度,同時平衡所選取的 2D 線索,從而避免模型僅憑二維線索就能猜對答案。研究發現,生成的深度資訊在需要細粒度幾何判別的題目上帶來更大的推理收益,而在較粗粒度的空間判斷上幫助有限。這一發現直接啟發了模型的推理策略設計。
基於上述結論,論文提出了自適應交錯推理:GeoUG 先給出一個草擬答案,然後判斷是否需要生成幾何證據來確認或修正這個答案。是否生成證據的決策透過強化學習訓練,目標是在草稿準確率帶來的收益與生成幾何證據的計算成本之間取得平衡。這種機制避免了“總是生成”帶來的昂貴開銷,也避免了“完全不生成”在難題上的準確率損失。
在結果上,GeoUG 在 CV-Bench-3D、3DCueBench 和 DA-2K 上分別取得 97.9%、90.8% 和 94.2% 的迴圈準確率,並且相比始終生成幾何證據的做法使用了更少的生成呼叫。論文還提供了專案演示連結,歸類於計算機視覺與模式識別方向,提交時間為 2026 年 10 月 26 日。整體來看,這項工作為“生成式模型能否以及如何反哺空間理解”提供了一個可復現的框架、一個可控的評測基準,以及一套兼顧準確率與推理成本的自適應推理思路。