Mistral AI 釋出 Robostral Navigate：8B 模型僅憑單 RGB 攝像頭讓機器人導航複雜環境

Mistral AI 釋出了其首個專為具身導航設計的模型 Robostral Navigate。這個擁有 80 億引數的模型僅透過 RGB 影像和自然語言指令驅動機器人，無需依賴雷射雷達或深度感測器。在標準指令跟隨基準測試 R2R-CE 的驗證未見場景中，它取得了 76.6% 的成功率。

什麼是 Robostral Navigate？

Robostral Navigate 是一個用於機器人導航的 8B 模型，能夠應對辦公室、住宅、商業建築和戶外等多種複雜環境。使用者只需給出一個指令，模型即可獨立完成整個任務，例如：“離開大廳，穿過走廊，進入儲藏室，在第二個架子前停下。”重要的是，它能在充滿人和障礙物的真實環境中移動，而這些環境從未在訓練中出現過。

與大多數依賴深度感測器、LiDAR 或多攝像頭的導航系統不同，Robostral Navigate 僅使用一個普通的 RGB 攝像頭。更少的感測器也使得系統比多感測器方案更高效。

透過指向進行導航：工作原理

在決策機制上，模型採用了一種稱為“指向”的方法。給定任務和歷史觀測，模型預測機器人的下一步移動。具體來說，它會推斷當前視野中目標點的影像座標，並預測到達時的期望朝向。這種方法相比基於度量位移的命令，對相機內參和世界尺度變化更加魯棒。但當目標超出當前視野時，模型會回退到機器人區域性座標系的位移指令，例如“前進 2 米，左移 1.5 米，左轉 25 度”。

從零構建

Robostral Navigate 並非基於現有的開源 VLM，而是從 Mistral 自有的視覺語言模型起步。該模型原本專為指向、計數和物體定位等基礎任務設計。導航能力自然地擴充套件了這些基礎能力：一旦模型知道物體在哪裡，它就能學習如何移動。

在訓練資料方面，Mistral 構建了一個完全在模擬環境中的生成管道，產出了約 400,000 條軌跡，覆蓋 6,000 個場景。

高效訓練與線上強化學習

訓練效率是設計的關鍵。方法採用了基於字首快取的演算法，透過樹形注意力掩碼策略將整個回合壓縮為一個序列，使得模型可以在單次前向傳播中訓練所有時間步，同時防止資訊洩露。這使訓練 token 減少了 22 倍，原本需要數月時間的訓練現在只需數天。在監督訓練之後，Mistral 應用了 CISPO 線上強化學習演算法，讓模型從試錯中學習，恢復失敗並探索新行為，同時緩解了行為克隆帶來的分佈偏移問題。該階段單獨將成功率提升了 3.2%。

基準測試與效能

在評估中，Robostral Navigate 在 R2R-CE 基準上取得了領先結果。R2R-CE 基於 Matterport3D，智慧體需要根據語言指令在連續 3D 環境中導航。在驗證未見場景中，它取得了 76.6% 的成功率，比最佳單攝像頭方法高出 9.7 個百分點，甚至比最佳深度或多攝像頭系統高出 4.5 個百分點。

應用場景

由於其特性，Robostral Navigate 適用於多種場景：製造業中機器人根據指令在工位間搬運零件；物流中輪式機器人倉庫內搬運包裹；酒店服務中引導客人從大堂到房間。由於模型可執行於輪式、腿式和飛行機器人，同一模型可部署在多種平臺上，且對不同相機內參具有魯棒性。

關鍵要點

Robostral Navigate 是 Mistral AI 推出的 8B 具身導航模型，僅用單 RGB 攝像頭即可實現 76.6% 的 R2R-CE 驗證未見場景成功率。其指向方法預測目標畫素，區域性位移指令處理視野外目標；字首快取將訓練效率提升 22 倍，CISPO 線上強化學習進一步增加了 3.2% 的成功率。這一成果被視為邁向統一具身智慧體的重要一步。