跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

VEGA:利用几何轨迹监督从野外第一人称视频中学习导航VLA模型

文章摘要

VEGA提出一种新方法,从未标注的第一人称导航视频中训练导航视觉-语言-动作(VLA)模型。通过重建单目视频的局部场景几何,生成障碍物感知的轨迹,并训练流匹配策略,从而在训练中蒸馏出障碍物感知规划能力。该方法在VEGA-Bench基准和真实世界试验中显著降低了碰撞率并提高了障碍物通过性。

来源arXiv Robotics作者: Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Dinesh Manocha
VEGA:利用几何轨迹监督从野外第一人称视频中学习导航VLA模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

VEGA 是 Gershom Seneviratne 等五位作者于 2026 年 6 月 16 日提交到 arXiv(编号 arXiv:2606.18426v1,cs.RO 方向)的一项新研究,目标是解决导航视觉-语言-动作(VLA)模型训练中一个关键的数据瓶颈:如何利用海量、无标注的第一视角(egocentric)导航视频来学习具备避障能力的机器人导航策略。论文摘要与元数据所提供的信息勾勒出这一方法的完整思路与实验结果。

研究团队指出,互联网规模的第一视角视频是导航相关视觉观测的可扩展来源,能够记录杂乱场景、近距离障碍物以及人类在真实空间中自然行走的运动模式。然而,这些视频无法直接用于策略学习,因为它们并不提供机器人在自身坐标系下、以明确导航目标为条件的避障轨迹。换言之,视频里有“人怎么走”,却没有“机器人应当怎么走才不撞到东西”的监督信号。VEGA 正是为填补这一缺口而设计。

VEGA 的技术路线分三步。首先,从单目视频中重建局部场景几何,把二维画面转化为带深度与空间结构的表示。其次,在这一几何基础上采样导航目标,目标可以用文本、图像或空间路点(spatial waypoints)等形式表示。第三,利用重建出的几何生成避障轨迹,从而得到一批带有障碍感知能力的轨迹分布。随后,研究团队用这一轨迹分布训练一个基于流匹配(flow-matching)的 VLA 导航策略。值得注意的是,几何信息只在训练阶段使用;在部署时,策略完全依赖视觉输入,相当于把基于几何的避障规划能力蒸馏进了纯视觉策略之中。这一设计使模型在推理阶段无需显式的三维建图或几何计算,降低了实际部署的复杂度。

为了系统评估这类模型,作者同时提出了 VEGA-Bench 基准。该基准包含 25 万个场景以及约 500 万个导航目标,并为每个场景配备相应的场景几何,评测维度包括目标推进程度(goal progress)、碰撞规避和障碍物间隙(obstacle clearance)。这一规模为导航 VLA 的对比研究提供了统一平台。

实验结果分为仿真基准与真实世界试验两部分。在 VEGA-Bench 上,VEGA 取得了与最强基线相当的目标推进表现,同时将碰撞减少 33.0%,障碍物间隙改善 17.9%。在真实世界试验中,提升更为显著:成功率至少提升 150.0%,碰撞至少减少 66.7%,障碍物间隙至少改善 60.0%。作者据此得出结论,源自视频的几何监督为训练具备避障能力的导航 VLA 提供了一种可扩展且有效的信号。

论文还说明了发表与开放方面的安排:代码与基准将在论文正式发表时发布。提交记录显示,该版本于 2026 年 6 月 16 日 19:21:14 UTC 提交,全文约 10,083 KB,可通过 PDF、实验性 HTML 以及 TeX 源码等方式获取,DOI 由 DataCite 颁发(注册中),当前浏览语境为 cs.RO 的 2026 年 6 月新论文列表。

展开要点与分析

文章情报

投资人进阶

要点

  • VEGA利用单目视频重建场景几何,自动生成障碍物感知的导航轨迹,解决了无标注视频无法直接用于策略学习的难题。
  • 训练时使用几何信息生成轨迹,推理时仅需视觉输入,将规划能力蒸馏到视觉策略中。
  • 提出了VEGA-Bench基准,包含25万场景和约500万导航目标,用于评估目标进度、碰撞避免和障碍物间隙。
  • 在VEGA-Bench上碰撞减少33.0%,障碍物间隙提升17.9%;真实世界试验中成功率至少提升150%,碰撞至少减少66.7%,障碍物间隙至少提升60.0%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。