跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Uni-LaViRA:統一具身導航的語言-視覺-機器人動作翻譯

文章摘要

Uni-LaViRA是一種統一的具身導航智能體架構,將導航決策簡化為單一的語言-視覺-機器人動作翻譯。它利用預訓練的多模態大語言模型(MLLM),以零樣本方式在四個任務系列和四種真實機器人上實現泛化。通過待辦列表記憶(TDM)和第二次機會回溯(SCB)機制實現自我糾正導航,無需任何訓練即可在多個基準測試中取得與依賴大規模訓練數據的模型相當甚至更優的結果。

來源arXiv Robotics作者: Hongyu Ding, Sizhuo Zhang, Ziming Xu, Jinwen Guo, Hongxiu Liu, Xingzhi Cheng, Zixuan Chen, Haifei Qi, Duo Wang, Hao Xu, Jieqi Shi, Yifan Zhang, Jing Huo, Jian Cheng, Yang Gao, Jiebo Luo
Uni-LaViRA:統一具身導航的語言-視覺-機器人動作翻譯
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

具身導航是人工智能領域的一個重要挑戰,它要求智能體將語言指令和視覺觀察轉化為一系列空間動作,從而驅動真實機器人在從未見過的環境中自主移動。當前,主流方法是通過在越來越大的機器人軌跡數據集上擴展視覺-語言-動作(VLA)基礎模型來提升性能。然而,發表於arXiv的一篇新論文提出了一個不同的觀點:對於導航任務而言,泛化能力不僅可以通過數據規模的擴大來獲得,還可以通過結構設計來實現。

該論文的作者們認為,導航的底層決策結構本質上可以歸結為一種單一的語言-視覺-機器人動作翻譯。在這種翻譯中,語言動作輸出語義級別的方向指令,而視覺動作則輸出像素級別的視覺目標。值得注意的是,這兩種輸出都位於預訓練多模態大語言模型(MLLM)的自然輸出流形內,這意味着智能體可以通過推理來完成導航任務,而無需從機器人數據中專門學習。

基於這一洞察,研究團隊提出了Uni-LaViRA——一種統一的智能體架構。該架構以零樣本的方式擴展到四個不同的任務系列:VLN-CE、ObjectNav、EQA和Aerial-VLN,並支持四種異構的真實機器人平台:輪式機器人、四足機器人、人形機器人和自建無人機。為了實現這種統一的實用性,Uni-LaViRA引入了兩種智能體循環機制。首先是待辦列表記憶(TODO List Memory,TDM),它在每一步都重寫待辦子目標的結構化清單,並將未完成的項目重新注入智能體的最近注意力窗口,從而確保持續跟蹤進度。其次是第二次機會回溯(Second Chance Backtrack,SCB),它允許機器人回滾到錯誤發生前的狀態,並根據失敗的子軌跡調整下一步規劃,從而將單次導航轉變為自我糾正的過程。

在完全無需訓練的情況下,Uni-LaViRA在多個基準測試中取得了令人矚目的成果。在VLN-CE R2R數據集上達到60.7%的成功率,在VLN-CE RxR上達到51.3%,在HM3D-v2上達到77.7%,在HM3D-OVON上達到60.0%,在MP3D-EQA上達到54.7%,在OpenUAV上達到40.0%。這些結果與甚至超越了最近依賴數百萬樣本和數千GPU小時訓練的導航基礎模型。

這項工作展示了通過結構創新而非僅僅依賴數據規模來推進具身導航研究的巨大潛力。它為未來的零樣本跨任務和跨機器人泛化提供了新的思路,有望推動具身智能在實際應用中的進一步發展。

展開要點與分析

文章情報

工程師進階

要點

  • 提出導航的泛化性可通過結構而非僅數據規模獲得。
  • Uni-LaViRA將導航分解為語言動作(語義方向)和視覺動作(像素級目標),兩者均在MLLM的輸出流形內。
  • 零樣本統一四個任務系列和四種異構機器人。
  • 無需訓練,在VLN-CE R2R上達到60.7%的成功率。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。