具身视觉与语言导航的综合调查及系统性真实世界评估
该综述系统梳理了具身视觉与语言导航(VLN)的研究现状,将现有方法沿动作范式(层次化与整体化)和模型范式(判别式与生成式)两个维度进行分类,并分析了各自的优缺点。作者在物理机器人平台上对代表性配置开展了真实世界评估,发现单一RGB方法在模拟中成功率为61%,但在真实环境中降至22%,而层次化框架达到51%,显示出更强的鲁棒性。最后指出了感知、决策与控制方面的关键挑战。
近日,一篇发表于IEEE TASE 2026的综述论文对具身视觉与语言导航(Vision-and-Language Navigation, VLN)领域进行了全面梳理与系统性真实世界评估。该论文由Liuyi Wang等11位作者共同完成,收录于arXiv预印本(arXiv:2607.09792)。
VLN旨在让机器人通过融合自然语言理解与视觉感知,以数据驱动方式实现导航。现有方法大多依赖高度结构化模型和强先验假设,在开放真实环境中鲁棒性不足。该综述为VLN提供了系统的方法论分类和真实世界验证。
论文沿两个正交维度组织当前最先进方法:动作范式包括层次化框架(将导航分解为高层规划与底层控制)和整体化框架(端到端学习);模型范式则区分判别式方法(如基于匹配的路线追踪)和生成式方法(如利用语言模型生成动作序列)。论文对各类方法的优劣势进行了深入分析。
为进一步验证VLN系统的实际表现,研究团队在物理机器人平台上部署了若干代表性配置,并在10个多样化真实场景中开展实验。结果揭示了模拟环境与真实部署之间的巨大性能差距:例如,一种典型的仅使用RGB图像的整体化方法,在模拟测试中成功率达61%,但在真实环境中骤降至22%;相比之下,层次化框架在真实环境中实现了51%的成功率,表明其在评估设置下具有更强的鲁棒性。
最后,论文指出了未来研究需重点突破的几个关键挑战:感知层面如何处理复杂光照、遮挡与动态变化;决策层面如何融合语言指令与实时环境反馈;控制层面如何实现精确的动作执行。这些方向为VLN走向实际应用指明了道路。此外,论文还讨论了当前评估基准的局限性,并建议未来工作应关注更广泛的场景和更鲁棒的算法。