具身視覺與語言導航的綜合調查及系統性真實世界評估
該綜述系統梳理了具身視覺與語言導航(VLN)的研究現狀,將現有方法沿動作範式(層次化與整體化)和模型範式(判別式與生成式)兩個維度進行分類,並分析了各自的優缺點。作者在物理機器人平台上對代表性配置開展了真實世界評估,發現單一RGB方法在模擬中成功率為61%,但在真實環境中降至22%,而層次化框架達到51%,顯示出更強的魯棒性。最後指出了感知、決策與控制方面的關鍵挑戰。
近日,一篇發表於IEEE TASE 2026的綜述論文對具身視覺與語言導航(Vision-and-Language Navigation, VLN)領域進行了全面梳理與系統性真實世界評估。該論文由Liuyi Wang等11位作者共同完成,收錄於arXiv預印本(arXiv:2607.09792)。
VLN旨在讓機器人通過融合自然語言理解與視覺感知,以數據驅動方式實現導航。現有方法大多依賴高度結構化模型和強先驗假設,在開放真實環境中魯棒性不足。該綜述為VLN提供了系統的方法論分類和真實世界驗證。
論文沿兩個正交維度組織當前最先進方法:動作範式包括層次化框架(將導航分解為高層規劃與底層控制)和整體化框架(端到端學習);模型範式則區分判別式方法(如基於匹配的路線追蹤)和生成式方法(如利用語言模型生成動作序列)。論文對各類方法的優劣勢進行了深入分析。
為進一步驗證VLN系統的實際表現,研究團隊在物理機器人平台上部署了若干代表性配置,並在10個多樣化真實場景中開展實驗。結果揭示了模擬環境與真實部署之間的巨大性能差距:例如,一種典型的僅使用RGB圖像的整體化方法,在模擬測試中成功率達61%,但在真實環境中驟降至22%;相比之下,層次化框架在真實環境中實現了51%的成功率,表明其在評估設置下具有更強的魯棒性。
最後,論文指出了未來研究需重點突破的幾個關鍵挑戰:感知層面如何處理複雜光照、遮擋與動態變化;決策層面如何融合語言指令與實時環境反饋;控制層面如何實現精確的動作執行。這些方向為VLN走向實際應用指明瞭道路。此外,論文還討論了當前評估基準的侷限性,並建議未來工作應關注更廣泛的場景和更魯棒的算法。