具身導航是人工智能領域的一個重要挑戰,它要求智能體將語言指令和視覺觀察轉化為一系列空間動作,從而驅動真實機器人在從未見過的環境中自主移動。當前,主流方法是通過在越來越大的機器人軌跡數據集上擴展視覺-語言-動作(VLA)基礎模型來提升性能。然而,發表於arXiv的一篇新論文提出了一個不同的觀點:對於導航任務而言,泛化能力不僅可以通過數據規模的擴大來獲得,還可以通過結構設計來實現。
該論文的作者們認為,導航的底層決策結構本質上可以歸結為一種單一的語言-視覺-機器人動作翻譯。在這種翻譯中,語言動作輸出語義級別的方向指令,而視覺動作則輸出像素級別的視覺目標。值得注意的是,這兩種輸出都位於預訓練多模態大語言模型(MLLM)的自然輸出流形內,這意味着智能體可以通過推理來完成導航任務,而無需從機器人數據中專門學習。
基於這一洞察,研究團隊提出了Uni-LaViRA——一種統一的智能體架構。該架構以零樣本的方式擴展到四個不同的任務系列:VLN-CE、ObjectNav、EQA和Aerial-VLN,並支持四種異構的真實機器人平台:輪式機器人、四足機器人、人形機器人和自建無人機。為了實現這種統一的實用性,Uni-LaViRA引入了兩種智能體循環機制。首先是待辦列表記憶(TODO List Memory,TDM),它在每一步都重寫待辦子目標的結構化清單,並將未完成的項目重新注入智能體的最近注意力窗口,從而確保持續跟蹤進度。其次是第二次機會回溯(Second Chance Backtrack,SCB),它允許機器人回滾到錯誤發生前的狀態,並根據失敗的子軌跡調整下一步規劃,從而將單次導航轉變為自我糾正的過程。
在完全無需訓練的情況下,Uni-LaViRA在多個基準測試中取得了令人矚目的成果。在VLN-CE R2R數據集上達到60.7%的成功率,在VLN-CE RxR上達到51.3%,在HM3D-v2上達到77.7%,在HM3D-OVON上達到60.0%,在MP3D-EQA上達到54.7%,在OpenUAV上達到40.0%。這些結果與甚至超越了最近依賴數百萬樣本和數千GPU小時訓練的導航基礎模型。
這項工作展示了通過結構創新而非僅僅依賴數據規模來推進具身導航研究的巨大潛力。它為未來的零樣本跨任務和跨機器人泛化提供了新的思路,有望推動具身智能在實際應用中的進一步發展。