SeeSE3: 视觉特征中三维空间的涌现
本文探究视觉基础模型是否构建了反映三维欧氏空间内在属性的表征。与传统方法通过回归深度或法线来探测三维意识不同，作者从拓扑和几何角度评估视觉特征空间结构与欧氏变换群SE(3)之间的关系。提出了相互邻域度量和庞加莱适配器两种探针。实验表明，自监督视觉模型在没有直接三维监督或主动代理的情况下，其潜在子空间与三维欧氏空间高度相关。基于此，提出了“潜在空间导航”技术，可在潜在空间中直接进行视觉里程计和定位，无需显式三维重建。
近年来，视觉基础模型在各类计算机视觉任务中取得了显著进展，但一个重要问题始终悬而未决：这些模型是否真正理解三维世界的几何结构？传统研究通常通过回归深度图或表面法线来评估模型的三维感知能力，但这些方法依赖于显式三维标注，且无法揭示模型内部表征的本质。最新研究《SeeSE3: Emergence of 3D Space in Vision Features》另辟蹊径，直接从视觉特征空间的结构出发，探讨其与三维欧氏变换群SE(3)的内在联系。
该研究由Caroline Chen等七位作者共同完成，提出了两种创新的探针工具。第一种是相互邻域度量，用于衡量特征空间中相邻关系与真实空间拓扑结构的一致性：如果两个图像块在三维空间中物理位置邻近，它们的特征表示在潜在空间中也应相互靠近。第二种是庞加莱适配器，通过测试静态场景中特征位移的线性可解性，来评估模型是否编码了相机运动的几何信息。实验表明，即使在训练中完全没有接触过三维标注或主动交互信号，自监督视觉模型（如DINO、MAE等）的潜在子空间仍然与三维欧氏空间表现出惊人的强相关性。
基于这一发现，研究团队进一步提出了“潜在空间导航”技术。该技术完全在特征潜在空间中执行视觉里程计和定位任务，无需构建显式的三维地图或进行三维重建。具体而言，通过分析连续帧之间特征向量的位移，即可直接估计相机的运动轨迹。这种方法不仅降低了计算开销，还避免了对精确三维数据的依赖，为机器人导航、增强现实和自动驾驶等领域提供了全新的轻量化方案。
值得注意的是，该研究并非否认显式三维重建的价值，而是揭示了一种更底层的几何表征能力。未来的工作可以进一步探索如何利用这种隐式几何知识来改进现有模型，或者将其扩展到动态场景和复杂交互中。此外，该研究也为理解自监督学习的本质提供了新的视角：视觉模型在无监督条件下为何能自发地学会三维结构？这一问题可能引领更多关于表征学习基础理论的探索。