將接地3D點直接注入動作頭解鎖空間與任務泛化

視覺-語言-動作（VLA）模型透過大規模視覺-語言預訓練實現了靈活的機器人操作，但在測試時，當物體位置與訓練時不同（空間泛化）或同一場景配合不同的語言指令（任務泛化）時，這些模型往往表現脆弱。現有的方法通常透過2D畫素座標等空間感知資訊來增強策略，但研究表明，語言或視覺提示的表徵方式並不能充分解決這些侷限性。相反，研究人員發現，利用基於3D點的表徵並將其直接饋送到動作頭可以帶來顯著改進——這表明接地訊號如何表示並注入VLA才是真正的關鍵。為此，他們提出了一種輕量級、與模型無關的模組，該模組將接地訊號表示為3D點，計算其與夾爪的相對位移，並透過自適應層歸一化將生成的空間嵌入直接注入動作頭。整個模組僅由兩層MLP組成，無需對VLA骨幹網路或預訓練流程進行任何更改。在LIBERO-PRO基準測試上，該方法使GR00T-N1.6在任務擾動下的平均成功率從31.2%提高到77.5%，在位置擾動下從28.1%提高到60.2%，分別提升了46.3和32.1個百分點。類似的提升也在π0.5模型上得到驗證，表明該機制與骨幹網路無關。這些結果支援了核心發現：藉助提升到3D的足夠接地，將其直接注入動作頭即可解鎖VLA的空間和任務泛化能力，而這一切僅需在預訓練骨幹網路之上新增一個輕量級模組即可實現。該工作為未來機器人操作中的泛化問題提供了新的思路，尤其是在複雜環境中的自適應能力。