Robostral Navigate：基於單攝像頭的AI導航 | Mistral AI
Robostral Navigate是Mistral AI推出的8B參數模型，僅使用單RGB攝像頭即可實現機器人自主導航，在R2R-CE基準測試中達到76.6%的成功率，超越多傳感器方案。該模型完全在模擬環境中訓練，採用token高效的訓練方法，可泛化至不同機器人類型，並適應未見過的真實障礙。它結合了指向式導航與強化學習，為統一具身AI奠定了基礎。
Mistral AI今日正式發佈Robostral Navigate，這是其首個專為具身導航設計的模型。該模型基於8B參數架構，僅需一個普通RGB攝像頭即可引導機器人在複雜環境中自主移動。例如，機器人能理解並執行“離開大廳，穿過走廊，進入儲藏室，並在第二個架子前停下”這樣的自然語言指令。
在R2R-CE（連續環境中的房間到房間）基準測試中，Robostral Navigate在未見過的場景上取得了76.6%的成功率，不僅遠超此前最佳的單攝像頭方案（提升9.7個百分點），甚至超越了配備深度傳感器或多攝像頭的系統（提升4.5個百分點）。這一成就完全摒棄了額外的硬件依賴，僅靠視覺輸入完成。
該模型的核心創新在於“指向式導航”（pointing-based navigation）。給定當前觀測和任務描述，模型會預測目標位置在攝像頭圖像中的座標以及到達後的朝向，從而產生連續的運動指令。相比傳統的度量位移方法，指向式導航對相機內參和世界尺度的變化具有天然魯棒性。當目標不在視野內時，模型則會切換為基於機器人本地座標系的位移命令，如“前進2米，左移1.5米，左轉25度”。
Robostral Navigate完全由Mistral AI內部開發，不依賴任何開源視覺語言模型。它從一個擅長指向、計數和物體定位的視覺語言模型初始化而來，導航能力作為定位能力的自然延伸。研究團隊構建了高效的模擬數據生成管線，在6000個場景中採集了約40萬條軌跡。訓練過程中，他們採用了基於前綴緩存（prefix-caching）的樹狀注意力掩碼策略，將整個回合壓縮為單個序列，在避免信息泄漏的同時，使得訓練token數減少22倍，將原本數月的訓練縮短至數天。
在監督訓練之後，團隊進一步應用在線強化學習算法CISPO，使模型能夠從試錯中學習、恢復失敗並探索新行為，有效緩解了行為克隆中的分佈偏移問題。這一階段單獨提升了3.2%的成功率，且目前尚未觀察到性能飽和，表明持續訓練有望帶來更多提升。
Robostral Navigate在真實場景中表現出色：它能自主穿行充滿人和障礙物的辦公空間，適應輪式、腿式和飛行等多種機器人平台，並且對相機內參差異不敏感。該模型有望在製造、物流、酒店及送貨等領域實現廣泛應用。Mistral AI表示，這只是邁向統一具身智能體的第一步，後續將致力於讓機器人在辦公室、家庭、商業建築及户外等更多複雜環境中實現無縫導航。團隊目前正在積極擴充機器人研究團隊，招募有志於此的科學家和工程師。