导航策略应当基于什么样的视觉表征行动?现有基于视觉基础模型的导航策略大多把表征设计交给编码器的预训练目标,而不是由导航任务本身决定。Jiawei Chen 等 15 位作者提出的 RepresentNav 试图改变这一点:它构建一个“自构建表征空间”,其中的视觉表征由策略自身的优化目标从多个视觉基础模型中塑造出来,使策略学会“看到自己需要的东西”。
这一空间的核心组件是 Representation Residuals——一个紧凑的三层 transformer,它在多个互补视觉基础模型的全深度特征上做注意力聚合。与简单拼接不同,该模块学习以不均匀的方式权衡不同模型的层级特征,从而把多个基础模型的优势压缩成适合导航决策的紧凑表示。
在同一表征空间中,RepresentNav 还会“做梦”:每次动作之前,一个潜在思维链先预测片刻之后场景的表征。该预测与策略一起以联合嵌入预测架构(JEPA)端到端训练,使用下一表征预测损失,并对预测目标施加正则项。这样,策略在行动前就拥有一个关于未来场景的潜在预期,而不是只对当前观测做反应。
实验覆盖 VLNVerse、VLN-CE R2R、EVT-Bench 以及两个点目标导航基准,RepresentNav 均刷新最优结果。在 VLNVerse 细粒度任务上,成功率达到 83.80%,比此前最优高出 20.05 个百分点;在 EVT-Bench 干扰跟踪任务中,仅用单目相机即达到 85.5%,提升 10.1 个百分点。作者还将增益迁移到真实机器人上,在杂乱环境和移动人群中进行验证。
消融显示,在相同编码器条件下,自构建空间明显优于直接拼接各模型输出,并学会不均匀地加权不同层。 dreamed 表征还带来实际安全收益:碰撞减少约四分之一。更值得注意的是,单个 dreamed latent 可以解码出未来片刻的深度、语义和三维占据信息,其精度甚至高于把预训练编码器直接用于真实未来帧,尽管占据从未被显式监督。该潜在 rollout 还能跟踪机器人自身在接下来一秒内的运动,表明这个“梦”已经成为一个紧凑的潜在世界模型。
论文共 28 页,发表于 arXiv(cs.RO,交叉 cs.CV),提交时间为 2026 年 10 月 22 日,并提供了项目页面。