近日,一篇題為《ELAN4D:通過即插即用適應實現以具身為中心的4D監督視覺-語言-動作模型》的論文在arXiv上發佈。該研究由Zeyuan He等人完成,提出了一種名為ELAN4D的新型訓練框架,旨在解決現有視覺-語言-動作(VLA)模型在機器人操作中泛化能力不足的問題。
當前大多數VLA策略直接從當前觀測迴歸動作,缺乏對未來動態的顯式建模,導致在分佈外擾動(如相機視角變化、背景或佈局調整)下性能顯著下降。ELAN4D的核心創新在於引入以具身為中心的4D監督:通過預測未來機器人關鍵點(如關節和末端執行器)的3D位移軌跡,為模型提供時空動態信息。
該方法的關鍵優勢在於低預處理成本。它僅利用本體感覺狀態的前向運動學即可推導出關鍵點軌跡,無需外部追蹤器或三維重建。為了將這一4D信號融入現有VLA模型,ELAN4D設計了一個即插即用的輔助分支,包含輕量級軌跡解碼器。該分支通過梯度隔離保留預訓練的視覺-語言主幹網絡,僅在訓練時激活,推理時完全丟棄,因此不改變基礎策略的接口。
實驗部分在LIBERO、LIBERO-Plus、RoboTwin2.0以及真實世界操作任務上進行了廣泛評估。結果顯示,ELAN4D在多個強VLA基線基礎上取得了持續改進,尤其在分佈外擾動(如相機、背景和佈局變化)下表現出顯著的性能提升。這些結果證實了以具身為中心的4D監督對於構建更魯棒、更通用的操作策略的有效性。
總之,ELAN4D為機器人學習領域提供了一種新穎且高效的訓練範式,有望推動VLA模型在實際應用中的部署。未來工作可能探索將其擴展到更多模態或複雜任務。