MASt3R-Nav 由 Vansh Garg 等八位作者提出,提交于 2026 年 5 月 22 日,论文编号 arXiv:2605.24111v1,属于机器人学(cs.RO)方向,并与人工智能(cs.AI)交叉。该工作已被 2026 年 IEEE 国际机器人与自动化会议(ICRA)接收。
论文的出发点是:视觉导航的能力与其所依赖的世界表示方式密切相关。传统三维地图需要全局一致的几何结构,而基于图像或物体的相对拓扑图虽然绕开了全局几何一致性的要求,却在很大程度上放弃了精细的几何理解,代价是导航能力受限,往往只能做到“示教—重复”(teach-and-repeat)式的路径复现。
为解决这一矛盾,作者提出了一种新的地图表示——像素相对连通性(pixel-relative connectivity)。这种表示在几何上是准确的,但不需要全局几何一致性。受近期三维接地的图像匹配(3D grounded image matching)进展启发,作者利用单对图像相对三维坐标系中的像素对应关系,从一段图像序列构建出图像间的连通结构,从而形成地图。
在获得这种像素级图之后,作者通过对图像内部像素连通性进行近似与稀疏化,实现了全局路径规划,并由此导出一种称为“WayPixel Costmap”的表示。随后,作者训练了一个以该代价地图为条件的控制器,用于预测轨迹的 rollout。
实验表明,与图像级和物体级的对应表示相比,基于相对几何的稠密像素级代价地图是更准确的控制预测条件变量。这一设计使系统具备很强的导航能力,作者在仿真器中通过四类导航任务进行了验证,并给出了真实世界中的演示。
从更广的意义看,该工作试图在两类极端之间取得平衡:一类是要求全局一致的经典三维地图,另一类是几乎放弃几何信息的拓扑图。像素相对连通性保留了局部几何精度,同时规避了全局一致性带来的构建难度,为视觉导航的表示选择提供了新的思路。论文全文可通过 arXiv 的 PDF 与实验性 HTML 版本获取,DOI 为 10.48550/arXiv.2605.24111,提交文件大小约 13,630 KB。