身体性ナビゲーションは、エージェントが言語と視覚の観測を空間行動のストリームにマッピングし、未踏環境で実ロボットを駆動することを必要とする。現在の主流アプローチは、大規模なロボット軌跡データセットで視覚-言語-動作(VLA)基盤モデルをスケールすることである。しかし、arXivに投稿された新しい論文は、ナビゲーションにおいては汎化性はデータ規模だけでなく構造的にも獲得可能であると主張する。
著者らは、ナビゲーションの基本的な決定構造は単一の言語-視覚-ロボット動作変換に帰着すると論じる。言語動作はセマンティックレベルの方向コマンドを出力し、視覚動作はピクセルレベルの視覚目標を出力する。これらの出力は両方とも、事前学習済みマルチモーダル大規模言語モデル(MLLM)の自然な出力多様体内に存在するため、タスクはロボットデータから学習するのではなく、エージェントが推論によって処理できる。
この洞察に基づき、研究チームはUni-LaViRAを提案する。これは、4つのタスクファミリー(VLN-CE、ObjectNav、EQA、Aerial-VLN)と4種類の異種実ロボット(車輪型、四足歩行、ヒューマノイド、自作UAV)に対してゼロショットで拡張可能な統一エージェントアーキテクチャである。2つのエージェントループ機構がこの統一を実用的にする。TODOリストメモリ(TDM)は各ステップで未完了のサブゴールの構造化チェックリストを書き換え、未完了項目をエージェントの最新の注意ウィンドウに再注入する。セカンドチャンスバックトラック(SCB)はロボットをエラー前の状態にロールバックし、失敗したサブ軌跡に基づいてエージェントの次の計画を調整することで、単一パスのナビゲーションを自己修正プロセスに変える。
訓練を一切行わずに、Uni-LaViRAは複数のベンチマークで顕著な成果を達成した。VLN-CE R2Rで60.7%の成功率、VLN-CE RxRで51.3%、HM3D-v2で77.7%、HM3D-OVONで60.0%、MP3D-EQAで54.7%、OpenUAVで40.0%である。これらの結果は、数百万のサンプルと数千GPU時間を消費する最近のナビゲーション基盤モデルに匹敵するか、それを上回る。
この研究は、データ規模の拡大だけでなく構造革新によって身体性ナビゲーション研究を前進させる可能性を示し、ゼロショットでのクロスタスク・クロスロボット汎化への新たな道を開くものである。