跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

所見即所需,所夢即所求:基於自構建表徵空間的導航基礎模型

文章摘要

RepresentNav 提出一種由策略自身目標構建的視覺表徵空間:通過 Representation Residuals 聚合多個互補視覺基礎模型的全深度特徵,並用潛在思維鏈在動作前預測下一時刻的場景表徵(JEPA)。在 VLNVerse、VLN-CE R2R、EVT-Bench 及兩個點目標基準上取得新最優,VLNVerse 細粒度成功率 83.80%(+20.05 個百分點),EVT-Bench 干擾跟蹤 85.5%(+10.1),並遷移到真實機器人;相同的編碼器下,自構建空間優於特徵拼接,夢降低碰撞約四分之一,單個 dreamed latent 可解碼未來深度、語義與三維佔據,形成緊湊的潛在世界模型。

來源arXiv Robotics作者: Jiawei Chen, Yinxi Wang, Zihan Yang, Meijun Gao, Yaowei Liu, Shuming Zhang, Zecheng Li, Xiangju Mi, Yuxuan Liu, Runzhong Huang, Tianlin Li, Xun Zhang, Zhengyang Wang, Xu Miao, Tong Yang
所見即所需,所夢即所求:基於自構建表徵空間的導航基礎模型
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

導航策略應當基於什麼樣的視覺表徵行動?現有基於視覺基礎模型的導航策略大多把表徵設計交給編碼器的預訓練目標,而不是由導航任務本身決定。Jiawei Chen 等 15 位作者提出的 RepresentNav 試圖改變這一點:它構建一個“自構建表徵空間”,其中的視覺表徵由策略自身的優化目標從多個視覺基礎模型中塑造出來,使策略學會“看到自己需要的東西”。

這一空間的核心組件是 Representation Residuals——一個緊湊的三層 transformer,它在多個互補視覺基礎模型的全深度特徵上做注意力聚合。與簡單拼接不同,該模塊學習以不均勻的方式權衡不同模型的層級特徵,從而把多個基礎模型的優勢壓縮成適合導航決策的緊湊表示。

在同一表徵空間中,RepresentNav 還會“做夢”:每次動作之前,一個潛在思維鏈先預測片刻之後場景的表徵。該預測與策略一起以聯合嵌入預測架構(JEPA)端到端訓練,使用下一表徵預測損失,並對預測目標施加正則項。這樣,策略在行動前就擁有一個關於未來場景的潛在預期,而不是隻對當前觀測做反應。

實驗覆蓋 VLNVerse、VLN-CE R2R、EVT-Bench 以及兩個點目標導航基準,RepresentNav 均刷新最優結果。在 VLNVerse 細粒度任務上,成功率達到 83.80%,比此前最優高出 20.05 個百分點;在 EVT-Bench 干擾跟蹤任務中,僅用單目相機即達到 85.5%,提升 10.1 個百分點。作者還將增益遷移到真實機器人上,在雜亂環境和移動人羣中進行驗證。

消融顯示,在相同編碼器條件下,自構建空間明顯優於直接拼接各模型輸出,並學會不均勻地加權不同層。 dreamed 表徵還帶來實際安全收益:碰撞減少約四分之一。更值得注意的是,單個 dreamed latent 可以解碼出未來片刻的深度、語義和三維佔據信息,其精度甚至高於把預訓練編碼器直接用於真實未來幀,儘管佔據從未被顯式監督。該潛在 rollout 還能跟蹤機器人自身在接下來一秒內的運動,表明這個“夢”已經成為一個緊湊的潛在世界模型。

論文共 28 頁,發表於 arXiv(cs.RO,交叉 cs.CV),提交時間為 2026 年 10 月 22 日,並提供了項目頁面。

展開要點與分析

文章情報

工程師進階

要點

  • RepresentNav 用策略目標自構建表徵空間,三層 transformer 聚合多視覺基礎模型全深度特徵,取代直接拼接。
  • 以 JEPA 方式端到端訓練潛在思維鏈,預測下一時刻場景表徵,並加入目標正則項。
  • VLNVerse 細粒度成功率 83.80%,超前最優 20.05 個百分點;EVT-Bench 干擾跟蹤 85.5%(+10.1)。
  • 夢可降低碰撞約四分之一,單個潛在可解碼未來深度、語義和三維佔據,並在真實機器人上驗證。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。