本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Uni-LaViRA:統一的身体性ナビゲーションのための言語-視覚-ロボット動作変換

記事の要約

Uni-LaViRAは、身体性ナビゲーションのための統一エージェントアーキテクチャであり、ナビゲーションの意思決定を単一の言語-視覚-ロボット動作変換に還元する。事前学習済みのMLLMを活用し、4つのタスクファミリーと4種類の実ロボットに対してゼロショットで適応する。TODOリストメモリとセカンドチャンスバックトラック機構により、訓練なしで自己修正ナビゲーションを実現する。

ソースarXiv Robotics著者: Hongyu Ding, Sizhuo Zhang, Ziming Xu, Jinwen Guo, Hongxiu Liu, Xingzhi Cheng, Zixuan Chen, Haifei Qi, Duo Wang, Hao Xu, Jieqi Shi, Yifan Zhang, Jing Huo, Jian Cheng, Yang Gao, Jiebo Luo
Uni-LaViRA:統一的身体性ナビゲーションのための言語-視覚-ロボット動作変換
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

身体性ナビゲーションは、エージェントが言語と視覚の観測を空間行動のストリームにマッピングし、未踏環境で実ロボットを駆動することを必要とする。現在の主流アプローチは、大規模なロボット軌跡データセットで視覚-言語-動作(VLA)基盤モデルをスケールすることである。しかし、arXivに投稿された新しい論文は、ナビゲーションにおいては汎化性はデータ規模だけでなく構造的にも獲得可能であると主張する。

著者らは、ナビゲーションの基本的な決定構造は単一の言語-視覚-ロボット動作変換に帰着すると論じる。言語動作はセマンティックレベルの方向コマンドを出力し、視覚動作はピクセルレベルの視覚目標を出力する。これらの出力は両方とも、事前学習済みマルチモーダル大規模言語モデル(MLLM)の自然な出力多様体内に存在するため、タスクはロボットデータから学習するのではなく、エージェントが推論によって処理できる。

この洞察に基づき、研究チームはUni-LaViRAを提案する。これは、4つのタスクファミリー(VLN-CE、ObjectNav、EQA、Aerial-VLN)と4種類の異種実ロボット(車輪型、四足歩行、ヒューマノイド、自作UAV)に対してゼロショットで拡張可能な統一エージェントアーキテクチャである。2つのエージェントループ機構がこの統一を実用的にする。TODOリストメモリ(TDM)は各ステップで未完了のサブゴールの構造化チェックリストを書き換え、未完了項目をエージェントの最新の注意ウィンドウに再注入する。セカンドチャンスバックトラック(SCB)はロボットをエラー前の状態にロールバックし、失敗したサブ軌跡に基づいてエージェントの次の計画を調整することで、単一パスのナビゲーションを自己修正プロセスに変える。

訓練を一切行わずに、Uni-LaViRAは複数のベンチマークで顕著な成果を達成した。VLN-CE R2Rで60.7%の成功率、VLN-CE RxRで51.3%、HM3D-v2で77.7%、HM3D-OVONで60.0%、MP3D-EQAで54.7%、OpenUAVで40.0%である。これらの結果は、数百万のサンプルと数千GPU時間を消費する最近のナビゲーション基盤モデルに匹敵するか、それを上回る。

この研究は、データ規模の拡大だけでなく構造革新によって身体性ナビゲーション研究を前進させる可能性を示し、ゼロショットでのクロスタスク・クロスロボット汎化への新たな道を開くものである。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ナビゲーションの汎化性はデータスケールだけでなく構造的に獲得可能。
  • Uni-LaViRAはナビゲーションを言語動作(意味的方向)と視覚動作(ピクセル目標)に分解し、両者はMLLMの出力多様体内に存在。
  • 4つのタスクファミリーと4種類の異種ロボットをゼロショットで統一。
  • 訓練なしでVLN-CE R2Rで60.7%の成功率を達成。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。