Robostral Navigate：単一カメラによるAIナビゲーション | Mistral AI
Robostral Navigateは、1台のRGBカメラのみで複雑な環境を自律移動できる8Bパラメータのモデルです。R2R-CEベンチマークの未見環境で76.6%の成功率を達成し、複数センサーを用いる手法を上回ります。シミュレーションデータとトークン効率的な訓練手法により、ロボットの種類を問わず汎化し、未訓練の実世界障害物に適応します。ポインティングベースのナビゲーションと強化学習を組み合わせ、統合具現化AIへの道を開きます。
Mistral AIは本日、Robostral Navigateを発表しました。これは、単一のRGBカメラのみを使用して、複雑な環境を自律的に移動できる8Bパラメータのモデルです。例えば、「ロビーを出て、廊下を通り、物置部屋に入り、2番目の棚に向かって止まれ」といった自然言語の指示を理解し、実行します。
R2R-CE（連続環境における部屋から部屋への移動）ベンチマークにおいて、Robostral Navigateは未見の環境で76.6%の成功率を達成し、これまでの最良の単一カメラ方式を9.7ポイント、深度センサーや複数カメラを用いる最良のシステムを4.5ポイント上回りました。この性能は、LiDARや深度センサーを一切使用せずに実現されています。
このモデルの核となるのは「ポインティングベースのナビゲーション」です。現在の観測とタスクの説明から、目標位置のカメラ画像上の座標と到着時の方位を予測し、ロボットの動きを連続的に指示します。従来の距離ベースのコマンドと異なり、ポインティング方式はカメラ内部パラメータや世界のスケール変化に対して頑健です。目標が視野内にない場合は、ロボットのローカル座標系での変位コマンド（例：「2メートル前進、1.5メートル左移動、25度左旋回」）にフォールバックします。
Robostral Navigateは完全にMistral AI内製で開発され、既存のオープンソースVLMには依存していません。基礎となる視覚言語モデルは、ポインティング、カウント、物体位置特定などの接地タスクに特化しており、ナビゲーションはその自然な拡張として獲得されました。研究チームは効率的なシミュレーションデータ生成パイプラインを構築し、6,000シーンから約40万のトラジェクトリを収集しました。訓練では、プレフィックスキャッシング（prefix-caching）に基づくツリー状のアテンションマスキング戦略により、エピソード全体を単一シーケンスに圧縮し、時間ステップ間の情報漏洩を防ぎつつ、訓練トークン数を22分の1に削減、数か月かかる訓練を数日で完了させました。
教師あり訓練の後、オンライン強化学習アルゴリズムCISPOを適用し、モデルが試行錯誤から学習し、失敗から回復し、探索行動を獲得できるようにしました。これにより成功率が3.2%向上し、現在も性能は飽和しておらず、さらなる改善が期待されています。
Robostral Navigateは、人や障害物が存在する実際のオフィス空間を自律的に移動でき、車輪型、脚型、飛行型ロボットに適用可能で、カメラ内部パラメータの違いにも頑健です。この技術は、製造、配送、物流、ホスピタリティなど、多くの分野での応用が期待されています。Mistral AIは、これを統合具現化エージェントへの第一歩と位置づけ、今後もオフィス、家庭、商業施設、屋外など、より多様な環境でのシームレスなナビゲーションを目指しています。現在、ロボティクスチームの強化のため、研究科学者やエンジニアを積極的に採用しています。