画像や動画の生成モデルは空間的に一貫した視覚コンテンツを生成できるようになったが、その能力を空間理解の改善にどう活かすかは十分に検討されていない。arXiv論文「Learning and Reasoning with Geometry: How Generation Helps Spatial Understanding」は、Rui Yang氏ら6名の著者により、訓練時の幾何学的監督と推論時の明示的な幾何証拠という2つの視点からこの問題に取り組んでいる。中心となるのは、深度生成・多視点生成・空間理解を統合したモデルGeoUGである。
GeoUGの要点は、深度生成と多視点生成を空間理解と同じモデルに組み込むことにある。そのために研究チームはマルチスケール深度コーデックを設計し、事前学習済みの視覚オートエンコーダを用いてメートル尺度を持つ深度を生成できるようにした。視覚的にそれらしい深度ではなく、実測スケールの深度を扱える点が特徴である。実験では、深度・多視点生成と空間理解を共同訓練すると、タスクに応じて異なる改善が得られることが示された。つまり生成能力の恩恵は一様ではなく、課題の種類と強く結びついている。
この関係をより明確にするため、著者らは3DCueBenchを構築した。このベンチマークは幾何学的な難易度を制御でき、選択した2D手がかりのバランスも調整できるため、モデルが二次元の手がかりだけで正解を推測するのを防げる。分析の結果、生成された深度情報は、細かい幾何学的判別を要する問題でより大きな推論上の利益をもたらす一方、粗い空間判断では効果が限定的であることが分かった。この知見が推論戦略の設計に直結している。
そこで論文は適応的交錯推論を提案する。GeoUGはまず回答の草稿を出し、その回答を確認または修正するために幾何証拠を生成すべきかどうかを判断する。この判断は強化学習で訓練され、草稿の精度を維持する利益と、幾何証拠生成にかかる計算コストのバランスを取る。これにより、常に生成する場合の高コストと、まったく生成しない場合の難問での精度低下を同時に避けられる。
結果としてGeoUGは、CV-Bench-3Dで97.9%、3DCueBenchで90.8%、DA-2Kで94.2%の循環精度を達成し、常時生成する手法よりも少ない生成呼び出しで済んでいる。論文にはデモへのリンクも示されており、分野はコンピュータビジョンとパターン認識、投稿日は2026年10月26日である。本研究は、生成モデルが空間理解をどう支援できるかを、再現可能な枠組み、制御可能な評価ベンチマーク、精度と推論コストを両立する適応的推論という形で提示している。