ナビゲーション方策はどのような視覚表現に基づいて行動すべきか。既存の視覚基盤モデルを用いたナビゲーション方策の多くは、表現設計をエンコーダの事前学習目的に委ねている。Jiawei Chen ら15名による RepresentNav は、この前提を組み替える。方策自身の目的関数によって視覚基盤モデルから構築される「自己構築表現空間」を導入し、方策がナビゲーションに必要なものを見ることを学習させる。
その中核が Representation Residuals である。複数の相補的な視覚基盤モデルの全深さにわたる特徴に attention を適用する、コンパクトな3層 transformer であり、各モデルの出力を単純に連結するのではなく、層ごとの特徴を不均一に重み付けしながらナビゲーション意思決定に適した表現へと圧縮する。
同じ表現空間の中で、RepresentNav は「夢」も見る。各行動の前に、潜在 chain-of-thought が一瞬先のシーン表現を予測する。この予測は方策とともに joint-embedding predictive architecture(JEPA)として end-to-end に訓練され、次表現予測損失と予測目標への正則化項を備える。結果として方策は現在の観測に反応するだけでなく、行動前に未来のシーンに関する潜在的な期待を持つ。
評価は VLNVerse、VLN-CE R2R、EVT-Bench、および2つの点目標ナビゲーション基準で行われ、いずれも新たな最先端を達成した。VLNVerse の細粒度タスクでは成功率 83.80% を記録し、従来の最先端を 20.05 ポイント上回る。EVT-Bench の妨害下追跡では単眼カメラのみで 85.5%(+10.1 ポイント)に達する。さらに、雑然とした環境や歩行者のいる状況で実機ロボットにも性能向上が移転することを確認している。
同一エンコーダを用いた比較では、自己構築空間は各モデル出力の連結を明確に上回り、層ごとの重み付けも学習される。夢による安全性向上も顕著で、衝突は約4分の1減少する。特筆すべきは、単一の dreamed latent が未来の深度・意味・3D占有をデコードでき、その精度が実未来フレームに事前学習エンコーダを適用した場合を上回る点である。しかも占有は明示的に教師されていない。また潜在 rollout は直後1秒間のロボット自身の動きを追従し、夢がコンパクトな潜在世界モデルとして機能することを示す。
論文は全28ページで、arXiv の cs.RO(cs.CV クロスリスト)に2026年10月22日付で投稿され、プロジェクトページも公開されている。