導航策略應當基於什麼樣的視覺表徵行動?現有基於視覺基礎模型的導航策略大多把表徵設計交給編碼器的預訓練目標,而不是由導航任務本身決定。Jiawei Chen 等 15 位作者提出的 RepresentNav 試圖改變這一點:它構建一個“自構建表徵空間”,其中的視覺表徵由策略自身的優化目標從多個視覺基礎模型中塑造出來,使策略學會“看到自己需要的東西”。
這一空間的核心組件是 Representation Residuals——一個緊湊的三層 transformer,它在多個互補視覺基礎模型的全深度特徵上做注意力聚合。與簡單拼接不同,該模塊學習以不均勻的方式權衡不同模型的層級特徵,從而把多個基礎模型的優勢壓縮成適合導航決策的緊湊表示。
在同一表徵空間中,RepresentNav 還會“做夢”:每次動作之前,一個潛在思維鏈先預測片刻之後場景的表徵。該預測與策略一起以聯合嵌入預測架構(JEPA)端到端訓練,使用下一表徵預測損失,並對預測目標施加正則項。這樣,策略在行動前就擁有一個關於未來場景的潛在預期,而不是隻對當前觀測做反應。
實驗覆蓋 VLNVerse、VLN-CE R2R、EVT-Bench 以及兩個點目標導航基準,RepresentNav 均刷新最優結果。在 VLNVerse 細粒度任務上,成功率達到 83.80%,比此前最優高出 20.05 個百分點;在 EVT-Bench 干擾跟蹤任務中,僅用單目相機即達到 85.5%,提升 10.1 個百分點。作者還將增益遷移到真實機器人上,在雜亂環境和移動人羣中進行驗證。
消融顯示,在相同編碼器條件下,自構建空間明顯優於直接拼接各模型輸出,並學會不均勻地加權不同層。 dreamed 表徵還帶來實際安全收益:碰撞減少約四分之一。更值得注意的是,單個 dreamed latent 可以解碼出未來片刻的深度、語義和三維佔據信息,其精度甚至高於把預訓練編碼器直接用於真實未來幀,儘管佔據從未被顯式監督。該潛在 rollout 還能跟蹤機器人自身在接下來一秒內的運動,表明這個“夢”已經成為一個緊湊的潛在世界模型。
論文共 28 頁,發表於 arXiv(cs.RO,交叉 cs.CV),提交時間為 2026 年 10 月 22 日,並提供了項目頁面。