Mistral AI 發佈 Robostral Navigate：8B 模型僅憑單 RGB 攝像頭讓機器人導航複雜環境

Mistral AI 發佈了其首個專為具身導航設計的模型 Robostral Navigate。這個擁有 80 億參數的模型僅通過 RGB 圖像和自然語言指令驅動機器人，無需依賴激光雷達或深度傳感器。在標準指令跟隨基準測試 R2R-CE 的驗證未見場景中，它取得了 76.6% 的成功率。

什麼是 Robostral Navigate？

Robostral Navigate 是一個用於機器人導航的 8B 模型，能夠應對辦公室、住宅、商業建築和户外等多種複雜環境。用户只需給出一個指令，模型即可獨立完成整個任務，例如：“離開大廳，穿過走廊，進入儲藏室，在第二個架子前停下。”重要的是，它能在充滿人和障礙物的真實環境中移動，而這些環境從未在訓練中出現過。

與大多數依賴深度傳感器、LiDAR 或多攝像頭的導航系統不同，Robostral Navigate 僅使用一個普通的 RGB 攝像頭。更少的傳感器也使得系統比多傳感器方案更高效。

通過指向進行導航：工作原理

在決策機制上，模型採用了一種稱為“指向”的方法。給定任務和歷史觀測，模型預測機器人的下一步移動。具體來説，它會推斷當前視野中目標點的圖像座標，並預測到達時的期望朝向。這種方法相比基於度量位移的命令，對相機內參和世界尺度變化更加魯棒。但當目標超出當前視野時，模型會回退到機器人局部座標系的位移指令，例如“前進 2 米，左移 1.5 米，左轉 25 度”。

從零構建

Robostral Navigate 並非基於現有的開源 VLM，而是從 Mistral 自有的視覺語言模型起步。該模型原本專為指向、計數和物體定位等基礎任務設計。導航能力自然地擴展了這些基礎能力：一旦模型知道物體在哪裏，它就能學習如何移動。

在訓練數據方面，Mistral 構建了一個完全在模擬環境中的生成管道，產出了約 400,000 條軌跡，覆蓋 6,000 個場景。

高效訓練與在線強化學習

訓練效率是設計的關鍵。方法採用了基於前綴緩存的算法，通過樹形注意力掩碼策略將整個回合壓縮為一個序列，使得模型可以在單次前向傳播中訓練所有時間步，同時防止信息泄露。這使訓練 token 減少了 22 倍，原本需要數月時間的訓練現在只需數天。在監督訓練之後，Mistral 應用了 CISPO 在線強化學習算法，讓模型從試錯中學習，恢復失敗並探索新行為，同時緩解了行為克隆帶來的分佈偏移問題。該階段單獨將成功率提升了 3.2%。

基準測試與性能

在評估中，Robostral Navigate 在 R2R-CE 基準上取得了領先結果。R2R-CE 基於 Matterport3D，智能體需要根據語言指令在連續 3D 環境中導航。在驗證未見場景中，它取得了 76.6% 的成功率，比最佳單攝像頭方法高出 9.7 個百分點，甚至比最佳深度或多攝像頭系統高出 4.5 個百分點。

應用場景

由於其特性，Robostral Navigate 適用於多種場景：製造業中機器人根據指令在工位間搬運零件；物流中輪式機器人倉庫內搬運包裹；酒店服務中引導客人從大堂到房間。由於模型可運行於輪式、腿式和飛行機器人，同一模型可部署在多種平台上，且對不同相機內參具有魯棒性。

關鍵要點

Robostral Navigate 是 Mistral AI 推出的 8B 具身導航模型，僅用單 RGB 攝像頭即可實現 76.6% 的 R2R-CE 驗證未見場景成功率。其指向方法預測目標像素，局部位移指令處理視野外目標；前綴緩存將訓練效率提升 22 倍，CISPO 在線強化學習進一步增加了 3.2% 的成功率。這一成果被視為邁向統一具身智能體的重要一步。