跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

ELAN4D:通過即插即用適應實現以具身為中心的4D監督視覺-語言-動作模型

文章摘要

ELAN4D是一個面向機器人操作的訓練框架,通過預測未來機器人關鍵點軌跡為VLA模型提供時空監督,無需額外追蹤器或重建。它採用即插即用的輔助分支,在推理時丟棄,僅依靠前向運動學計算。實驗表明,該方法在多種擾動下均顯著提升基線模型性能。

來源arXiv Robotics作者: Zeyuan He, Bowen Yang, Zhirui Fang, Keru Zhou, Lei Jiang, Jingjing Qian, Fan Mo, Junchi Yan, Philip Torr, Xiu Li, Li Jiang, Jialin Yu
ELAN4D:通過即插即用適應實現以具身為中心的4D監督視覺-語言-動作模型
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一篇題為《ELAN4D:通過即插即用適應實現以具身為中心的4D監督視覺-語言-動作模型》的論文在arXiv上發佈。該研究由Zeyuan He等人完成,提出了一種名為ELAN4D的新型訓練框架,旨在解決現有視覺-語言-動作(VLA)模型在機器人操作中泛化能力不足的問題。

當前大多數VLA策略直接從當前觀測迴歸動作,缺乏對未來動態的顯式建模,導致在分佈外擾動(如相機視角變化、背景或佈局調整)下性能顯著下降。ELAN4D的核心創新在於引入以具身為中心的4D監督:通過預測未來機器人關鍵點(如關節和末端執行器)的3D位移軌跡,為模型提供時空動態信息。

該方法的關鍵優勢在於低預處理成本。它僅利用本體感覺狀態的前向運動學即可推導出關鍵點軌跡,無需外部追蹤器或三維重建。為了將這一4D信號融入現有VLA模型,ELAN4D設計了一個即插即用的輔助分支,包含輕量級軌跡解碼器。該分支通過梯度隔離保留預訓練的視覺-語言主幹網絡,僅在訓練時激活,推理時完全丟棄,因此不改變基礎策略的接口。

實驗部分在LIBERO、LIBERO-Plus、RoboTwin2.0以及真實世界操作任務上進行了廣泛評估。結果顯示,ELAN4D在多個強VLA基線基礎上取得了持續改進,尤其在分佈外擾動(如相機、背景和佈局變化)下表現出顯著的性能提升。這些結果證實了以具身為中心的4D監督對於構建更魯棒、更通用的操作策略的有效性。

總之,ELAN4D為機器人學習領域提供了一種新穎且高效的訓練範式,有望推動VLA模型在實際應用中的部署。未來工作可能探索將其擴展到更多模態或複雜任務。

展開要點與分析

文章情報

工程師進階

要點

  • ELAN4D以未來機器人關鍵點軌跡作為預測性時空監督,增強VLA策略的魯棒性。
  • 僅利用本體感覺狀態的前向運動學,即可低成本生成3D位移軌跡。
  • 即插即用的輔助分支在訓練時注入4D信號,推理時丟棄,不改變基礎策略接口。
  • 在多個基準和真實任務上,ELAN4D在分佈外擾動下表現最佳。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

ELAN4D:通過即插即用適應實現以具身為中心的4D監督視覺-語言-動作模型 | AI News Hub