Robostral Navigate：基于单摄像头的AI导航 | Mistral AI
Robostral Navigate是Mistral AI推出的8B参数模型，仅使用单RGB摄像头即可实现机器人自主导航，在R2R-CE基准测试中达到76.6%的成功率，超越多传感器方案。该模型完全在模拟环境中训练，采用token高效的训练方法，可泛化至不同机器人类型，并适应未见过的真实障碍。它结合了指向式导航与强化学习，为统一具身AI奠定了基础。
Mistral AI今日正式发布Robostral Navigate，这是其首个专为具身导航设计的模型。该模型基于8B参数架构，仅需一个普通RGB摄像头即可引导机器人在复杂环境中自主移动。例如，机器人能理解并执行“离开大厅，穿过走廊，进入储藏室，并在第二个架子前停下”这样的自然语言指令。
在R2R-CE（连续环境中的房间到房间）基准测试中，Robostral Navigate在未见过的场景上取得了76.6%的成功率，不仅远超此前最佳的单摄像头方案（提升9.7个百分点），甚至超越了配备深度传感器或多摄像头的系统（提升4.5个百分点）。这一成就完全摒弃了额外的硬件依赖，仅靠视觉输入完成。
该模型的核心创新在于“指向式导航”（pointing-based navigation）。给定当前观测和任务描述，模型会预测目标位置在摄像头图像中的坐标以及到达后的朝向，从而产生连续的运动指令。相比传统的度量位移方法，指向式导航对相机内参和世界尺度的变化具有天然鲁棒性。当目标不在视野内时，模型则会切换为基于机器人本地坐标系的位移命令，如“前进2米，左移1.5米，左转25度”。
Robostral Navigate完全由Mistral AI内部开发，不依赖任何开源视觉语言模型。它从一个擅长指向、计数和物体定位的视觉语言模型初始化而来，导航能力作为定位能力的自然延伸。研究团队构建了高效的模拟数据生成管线，在6000个场景中采集了约40万条轨迹。训练过程中，他们采用了基于前缀缓存（prefix-caching）的树状注意力掩码策略，将整个回合压缩为单个序列，在避免信息泄漏的同时，使得训练token数减少22倍，将原本数月的训练缩短至数天。
在监督训练之后，团队进一步应用在线强化学习算法CISPO，使模型能够从试错中学习、恢复失败并探索新行为，有效缓解了行为克隆中的分布偏移问题。这一阶段单独提升了3.2%的成功率，且目前尚未观察到性能饱和，表明持续训练有望带来更多提升。
Robostral Navigate在真实场景中表现出色：它能自主穿行充满人和障碍物的办公空间，适应轮式、腿式和飞行等多种机器人平台，并且对相机内参差异不敏感。该模型有望在制造、物流、酒店及送货等领域实现广泛应用。Mistral AI表示，这只是迈向统一具身智能体的第一步，后续将致力于让机器人在办公室、家庭、商业建筑及户外等更多复杂环境中实现无缝导航。团队目前正在积极扩充机器人研究团队，招募有志于此的科学家和工程师。