Mistral AI、単一RGBカメラでロボットが複雑な環境をナビゲートできる8Bモデル「Robostral Navigate」をリリース

Mistral AIは、具身ナビゲーション向けの最初のモデルとなるRobostral Navigateをリリースしました。この80億パラメータのモデルは、RGB画像と自然言語の指示のみを使用してロボットを駆動し、LiDARや深度センサーを必要としません。標準的な指示追従ベンチマークであるR2R-CEの未見環境検証において、76.6%の成功率を達成しました。

Robostral Navigateとは？

Robostral Navigateは、オフィス、住宅、商業ビル、屋外など複雑な環境でのロボットナビゲーションのための8Bモデルです。ユーザーが1つの指示を与えるだけで、モデルはタスク全体を独立して実行します。例えば、「ロビーを出て、廊下を歩き、物置部屋に入り、2番目の棚の前で止まれ」といった具合です。重要なのは、訓練時に見たことのない、人や障害物で満ちた現実の環境でも動作することです。

多くのナビゲーションシステムが深度センサー、LiDAR、または複数のカメラに依存するのに対し、Robostral Navigateは1つの通常のRGBカメラのみを使用します。センサーが少ないことで、マルチセンサーアプローチよりも効率的です。

ポインティングによるナビゲーション：仕組み

意思決定の仕組みとして、モデルは「ポインティング」と呼ばれる手法を採用しています。タスクと観測履歴が与えられると、モデルはロボットの次の移動先を予測します。具体的には、現在のカメラビュー内の目標点の画像座標を推論し、到着時の望ましい向きも予測します。この手法は、計測変位に基づくコマンドと異なり、カメラ内部パラメータや世界スケールの変化に対してロバストです。ただし、目標が現在の視野の外にある場合、モデルはロボットのローカル座標系での変位（例：「2メートル前進、1.5メートル左移動、25度左旋回」）にフォールバックします。

ゼロからの構築

Robostral Navigateは既存のオープンソースVLMに依存せず、Mistral独自の視覚言語モデルから出発しています。このモデルはもともとポインティング、計数、物体位置特定などのグラウンディングタスク用に構築されました。ナビゲーションはこれらの能力の自然な拡張として現れます。モデルが物体の位置を認識できるようになると、移動方法を学習します。

訓練データについては、Mistralは完全にシミュレーション環境内でデータ生成パイプラインを構築し、6,000のシーンにわたって約40万の軌跡を生成しました。

効率的な訓練とオンライン強化学習

訓練効率は設計の中核要素でした。手法はプレフィックスキャッシュに基づくアルゴリズムを使用し、ツリー型アテンションマスキング戦略によりエピソード全体を1つのシーケンスに圧縮します。これにより、モデルはすべてのタイムステップを単一の順伝搬で訓練でき、タイムステップ間の情報漏洩を防ぎます。その結果、訓練トークン数が22分の1に削減され、以前は数ヶ月かかっていた訓練が数日で完了します。教師あり訓練の後、MistralはCISPOオンライン強化学習アルゴリズムを適用し、モデルが試行錯誤から学習し、失敗から回復し、探索的行動を獲得できるようにしました。この段階だけで成功率が3.2%向上しました。

ベンチマークと性能

評価において、Robostral NavigateはR2R-CEベンチマークで最先端の結果を達成しました。R2R-CEはMatterport3Dに基づき、エージェントが連続3D環境で言語指示に従う標準的なベンチマークです。未見環境検証では76.6%の成功率を記録し、最高の単一カメラ手法を9.7ポイント、最高の深度またはマルチカメラシステムを4.5ポイント上回りました。

ユースケース

その特性により、Robostral Navigateは製造業（ワークステーション間の部品運搬）、物流（倉庫内の荷物移動）、ホスピタリティ（ロビーから客室への案内）など、さまざまな用途に適しています。モデルは車輪型、脚型、飛行型ロボットで動作するため、単一のモデルを複数のプラットフォームで共有でき、異なるカメラ内部パラメータに対してもロバストです。

主要なポイント

Robostral Navigateは、単一RGBカメラのみでR2R-CE未見環境において76.6%の成功率を達成する8B具身ナビゲーションモデルです。ポインティング手法で目標ピクセルを予測し、視野外では局所変位命令にフォールバックします。プレフィックスキャッシュにより訓練効率を22倍に向上させ、CISPOオンライン強化学習でさらに3.2%の成功率向上を実現しました。これは統一された具身エージェントへの重要な一歩と位置づけられています。