本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

必要なものを見て、欲しいものを夢見る:自己構築表現空間上のナビゲーション基盤モデル

記事の要約

RepresentNav は、ナビゲーション方策自身の目的関数から視覚表現を構築する基盤モデルである。複数の視覚基盤モデルの全深さ特徴を集約する Representation Residuals(3層 transformer)と、行動前に次時刻のシーン表現を予測する潜在 chain-of-thought を JEPA として共同訓練する。VLNVerse、VLN-CE R2R、EVT-Bench、2つの点目標ベンチマークで新たな SOTA を達成し、実機ロボットでも有効性を示す。同一エンコーダ下で特徴連結を上回り、夢は衝突を約4分の1削減、単一の潜在から未来の深度・意味・3D占有をデコードできる。

ソースarXiv Robotics著者: Jiawei Chen, Yinxi Wang, Zihan Yang, Meijun Gao, Yaowei Liu, Shuming Zhang, Zecheng Li, Xiangju Mi, Yuxuan Liu, Runzhong Huang, Tianlin Li, Xun Zhang, Zhengyang Wang, Xu Miao, Tong Yang
必要なものを見て、欲しいものを夢見る:自己構築表現空間上のナビゲーション基盤モデル
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ナビゲーション方策はどのような視覚表現に基づいて行動すべきか。既存の視覚基盤モデルを用いたナビゲーション方策の多くは、表現設計をエンコーダの事前学習目的に委ねている。Jiawei Chen ら15名による RepresentNav は、この前提を組み替える。方策自身の目的関数によって視覚基盤モデルから構築される「自己構築表現空間」を導入し、方策がナビゲーションに必要なものを見ることを学習させる。

その中核が Representation Residuals である。複数の相補的な視覚基盤モデルの全深さにわたる特徴に attention を適用する、コンパクトな3層 transformer であり、各モデルの出力を単純に連結するのではなく、層ごとの特徴を不均一に重み付けしながらナビゲーション意思決定に適した表現へと圧縮する。

同じ表現空間の中で、RepresentNav は「夢」も見る。各行動の前に、潜在 chain-of-thought が一瞬先のシーン表現を予測する。この予測は方策とともに joint-embedding predictive architecture(JEPA)として end-to-end に訓練され、次表現予測損失と予測目標への正則化項を備える。結果として方策は現在の観測に反応するだけでなく、行動前に未来のシーンに関する潜在的な期待を持つ。

評価は VLNVerse、VLN-CE R2R、EVT-Bench、および2つの点目標ナビゲーション基準で行われ、いずれも新たな最先端を達成した。VLNVerse の細粒度タスクでは成功率 83.80% を記録し、従来の最先端を 20.05 ポイント上回る。EVT-Bench の妨害下追跡では単眼カメラのみで 85.5%(+10.1 ポイント)に達する。さらに、雑然とした環境や歩行者のいる状況で実機ロボットにも性能向上が移転することを確認している。

同一エンコーダを用いた比較では、自己構築空間は各モデル出力の連結を明確に上回り、層ごとの重み付けも学習される。夢による安全性向上も顕著で、衝突は約4分の1減少する。特筆すべきは、単一の dreamed latent が未来の深度・意味・3D占有をデコードでき、その精度が実未来フレームに事前学習エンコーダを適用した場合を上回る点である。しかも占有は明示的に教師されていない。また潜在 rollout は直後1秒間のロボット自身の動きを追従し、夢がコンパクトな潜在世界モデルとして機能することを示す。

論文は全28ページで、arXiv の cs.RO(cs.CV クロスリスト)に2026年10月22日付で投稿され、プロジェクトページも公開されている。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • RepresentNav はエンコーダの事前学習目的ではなく方策自身の目的で表現空間を構築し、Representation Residuals で複数基盤モデルの全深さ特徴を不均一に重み付けする。
  • 潜在 chain-of-thought が次時刻のシーン表現を予測し、次表現予測損失と目標正則化を備えた JEPA として方策と end-to-end で訓練される。
  • VLNVerse 細粒度で成功率 83.80%(+20.05 ポイント)、EVT-Bench の妨害下追跡で単眼カメラにより 85.5%(+10.1)。
  • 夢は衝突を約4分の1削減し、単一の dreamed latent が未来の深度・意味・3D占有をデコード、実機の群衆環境でも効果を確認。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。