Mistral AI 发布 Robostral Navigate：8B 模型仅凭单 RGB 摄像头让机器人导航复杂环境

Mistral AI 发布了其首个专为具身导航设计的模型 Robostral Navigate。这个拥有 80 亿参数的模型仅通过 RGB 图像和自然语言指令驱动机器人，无需依赖激光雷达或深度传感器。在标准指令跟随基准测试 R2R-CE 的验证未见场景中，它取得了 76.6% 的成功率。

什么是 Robostral Navigate？

Robostral Navigate 是一个用于机器人导航的 8B 模型，能够应对办公室、住宅、商业建筑和户外等多种复杂环境。用户只需给出一个指令，模型即可独立完成整个任务，例如：“离开大厅，穿过走廊，进入储藏室，在第二个架子前停下。”重要的是，它能在充满人和障碍物的真实环境中移动，而这些环境从未在训练中出现过。

与大多数依赖深度传感器、LiDAR 或多摄像头的导航系统不同，Robostral Navigate 仅使用一个普通的 RGB 摄像头。更少的传感器也使得系统比多传感器方案更高效。

通过指向进行导航：工作原理

在决策机制上，模型采用了一种称为“指向”的方法。给定任务和历史观测，模型预测机器人的下一步移动。具体来说，它会推断当前视野中目标点的图像坐标，并预测到达时的期望朝向。这种方法相比基于度量位移的命令，对相机内参和世界尺度变化更加鲁棒。但当目标超出当前视野时，模型会回退到机器人局部坐标系的位移指令，例如“前进 2 米，左移 1.5 米，左转 25 度”。

从零构建

Robostral Navigate 并非基于现有的开源 VLM，而是从 Mistral 自有的视觉语言模型起步。该模型原本专为指向、计数和物体定位等基础任务设计。导航能力自然地扩展了这些基础能力：一旦模型知道物体在哪里，它就能学习如何移动。

在训练数据方面，Mistral 构建了一个完全在模拟环境中的生成管道，产出了约 400,000 条轨迹，覆盖 6,000 个场景。

高效训练与在线强化学习

训练效率是设计的关键。方法采用了基于前缀缓存的算法，通过树形注意力掩码策略将整个回合压缩为一个序列，使得模型可以在单次前向传播中训练所有时间步，同时防止信息泄露。这使训练 token 减少了 22 倍，原本需要数月时间的训练现在只需数天。在监督训练之后，Mistral 应用了 CISPO 在线强化学习算法，让模型从试错中学习，恢复失败并探索新行为，同时缓解了行为克隆带来的分布偏移问题。该阶段单独将成功率提升了 3.2%。

基准测试与性能

在评估中，Robostral Navigate 在 R2R-CE 基准上取得了领先结果。R2R-CE 基于 Matterport3D，智能体需要根据语言指令在连续 3D 环境中导航。在验证未见场景中，它取得了 76.6% 的成功率，比最佳单摄像头方法高出 9.7 个百分点，甚至比最佳深度或多摄像头系统高出 4.5 个百分点。

应用场景

由于其特性，Robostral Navigate 适用于多种场景：制造业中机器人根据指令在工位间搬运零件；物流中轮式机器人仓库内搬运包裹；酒店服务中引导客人从大堂到房间。由于模型可运行于轮式、腿式和飞行机器人，同一模型可部署在多种平台上，且对不同相机内参具有鲁棒性。

关键要点

Robostral Navigate 是 Mistral AI 推出的 8B 具身导航模型，仅用单 RGB 摄像头即可实现 76.6% 的 R2R-CE 验证未见场景成功率。其指向方法预测目标像素，局部位移指令处理视野外目标；前缀缓存将训练效率提升 22 倍，CISPO 在线强化学习进一步增加了 3.2% 的成功率。这一成果被视为迈向统一具身智能体的重要一步。