跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

所见即所需,所梦即所求:基于自构建表征空间的导航基础模型

文章摘要

RepresentNav 提出一种由策略自身目标构建的视觉表征空间:通过 Representation Residuals 聚合多个互补视觉基础模型的全深度特征,并用潜在思维链在动作前预测下一时刻的场景表征(JEPA)。在 VLNVerse、VLN-CE R2R、EVT-Bench 及两个点目标基准上取得新最优,VLNVerse 细粒度成功率 83.80%(+20.05 个百分点),EVT-Bench 干扰跟踪 85.5%(+10.1),并迁移到真实机器人;相同的编码器下,自构建空间优于特征拼接,梦降低碰撞约四分之一,单个 dreamed latent 可解码未来深度、语义与三维占据,形成紧凑的潜在世界模型。

来源arXiv Robotics作者: Jiawei Chen, Yinxi Wang, Zihan Yang, Meijun Gao, Yaowei Liu, Shuming Zhang, Zecheng Li, Xiangju Mi, Yuxuan Liu, Runzhong Huang, Tianlin Li, Xun Zhang, Zhengyang Wang, Xu Miao, Tong Yang
所见即所需,所梦即所求:基于自构建表征空间的导航基础模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

导航策略应当基于什么样的视觉表征行动?现有基于视觉基础模型的导航策略大多把表征设计交给编码器的预训练目标,而不是由导航任务本身决定。Jiawei Chen 等 15 位作者提出的 RepresentNav 试图改变这一点:它构建一个“自构建表征空间”,其中的视觉表征由策略自身的优化目标从多个视觉基础模型中塑造出来,使策略学会“看到自己需要的东西”。

这一空间的核心组件是 Representation Residuals——一个紧凑的三层 transformer,它在多个互补视觉基础模型的全深度特征上做注意力聚合。与简单拼接不同,该模块学习以不均匀的方式权衡不同模型的层级特征,从而把多个基础模型的优势压缩成适合导航决策的紧凑表示。

在同一表征空间中,RepresentNav 还会“做梦”:每次动作之前,一个潜在思维链先预测片刻之后场景的表征。该预测与策略一起以联合嵌入预测架构(JEPA)端到端训练,使用下一表征预测损失,并对预测目标施加正则项。这样,策略在行动前就拥有一个关于未来场景的潜在预期,而不是只对当前观测做反应。

实验覆盖 VLNVerse、VLN-CE R2R、EVT-Bench 以及两个点目标导航基准,RepresentNav 均刷新最优结果。在 VLNVerse 细粒度任务上,成功率达到 83.80%,比此前最优高出 20.05 个百分点;在 EVT-Bench 干扰跟踪任务中,仅用单目相机即达到 85.5%,提升 10.1 个百分点。作者还将增益迁移到真实机器人上,在杂乱环境和移动人群中进行验证。

消融显示,在相同编码器条件下,自构建空间明显优于直接拼接各模型输出,并学会不均匀地加权不同层。 dreamed 表征还带来实际安全收益:碰撞减少约四分之一。更值得注意的是,单个 dreamed latent 可以解码出未来片刻的深度、语义和三维占据信息,其精度甚至高于把预训练编码器直接用于真实未来帧,尽管占据从未被显式监督。该潜在 rollout 还能跟踪机器人自身在接下来一秒内的运动,表明这个“梦”已经成为一个紧凑的潜在世界模型。

论文共 28 页,发表于 arXiv(cs.RO,交叉 cs.CV),提交时间为 2026 年 10 月 22 日,并提供了项目页面。

展开要点与分析

文章情报

工程师进阶

要点

  • RepresentNav 用策略目标自构建表征空间,三层 transformer 聚合多视觉基础模型全深度特征,取代直接拼接。
  • 以 JEPA 方式端到端训练潜在思维链,预测下一时刻场景表征,并加入目标正则项。
  • VLNVerse 细粒度成功率 83.80%,超前最优 20.05 个百分点;EVT-Bench 干扰跟踪 85.5%(+10.1)。
  • 梦可降低碰撞约四分之一,单个潜在可解码未来深度、语义和三维占据,并在真实机器人上验证。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。