视野语言导航(Vision-Language Navigation,VLN)是一类让具身智能体能够根据自然语言指令,在从未见过的环境中抵达目标位置的任务。尽管近年来视觉语言模型(VLM)取得了显著进展,但论文作者指出,在二维视觉理解与三维空间推理之间仍存在一道关键的“语义—几何鸿沟”。VLM 擅长处理语言与二维图像,却难以进行三维空间推理,也无法捕捉动作与空间状态变化之间的因果关系,这导致导航行为在零样本(zero-shot)场景下尤其不可靠。
为解决这一问题,来自 Kailing Li 等七位作者的研究团队提出了“分层语义—几何地图”(Hierarchical Semantic-Geometric Map,HSGM)。该方法的核心思路,是把三维几何信息转化为一种与 VLM 兼容的结构化表示,从而在视觉语言模型与物理世界之间建立有效连接。HSGM 被表示为一张多通道的俯视图,并按三个层级组织:几何层记录可通行区域与障碍物;语义层表示物体及其相互关系;决策层则支持高层任务推理与目标选择。
在导航过程中,系统采用“语义推理与动作执行解耦”的架构。VLM 充当高层语义规划器,解读 HSGM 中编码的空间布局,并据此选择在几何上可行的路径点(waypoint);而路径点之间的低层无碰撞移动,则交由经典路径规划算法完成。这样一来,高层语义判断与底层运动控制各司其职,避免让不擅长三维推理的 VLM 直接承担精细的空间控制任务。
作者还针对长程导航中的另一个难点提出了应对措施:将复杂指令分解为若干子任务。这一设计旨在缓解智能体在长时程任务中出现的“进度遗忘”或“幻觉”问题,使其能够更稳定地跟踪任务进展。
实验方面,研究团队在 R2R-CE 与 RxR-CE 两个基准上进行了广泛测试。结果表明,该零样本框架达到了当前最优水平,甚至超过了若干有监督方法。论文同时公开了代码,地址为 https://github.com/Teacher-Tom/HSGM_public。
从时间线看,该论文于 2026 年 5 月 25 日提交至 arXiv,编号为 arXiv:2606.00095v1,属于新增公告类型,提交时间为当日 08:53:21 UTC,全文大小约 10,424 KB。论文涉及计算机视觉与模式识别(cs.CV)、人工智能(cs.AI)、计算与语言(cs.CL)以及机器人学(cs.RO)等多个学科方向,DOI 为 10.48550/arXiv.2606.00095。
总体而言,这项工作的价值在于它并未要求 VLM 本身具备完整的三维推理能力,而是通过一层精心设计的地图表示,把三维几何“翻译”成模型能够理解的形式,再以分工明确的规划流程完成导航。这一思路为提升零样本 VLN 的可靠性提供了可复用的方向,也为后续在真实机器人平台上验证该方法留下了空间。