從抓取到靈巧操作：大規模抓取預訓練用於靈巧操作

近年來，機器人靈巧操作領域取得了顯著進展，但大多數方法依賴於針對特定任務的大規模演示數據，泛化能力有限。本文提出了一種新方法，通過利用大規模靈巧抓取數據集進行預訓練，增強機器人的靈巧操作能力，特別是針對鉸接工具的使用。傳統上，靈巧抓取數據集主要用於抓取生成和拾取放置操作，而這項研究拓展了其應用範圍，使其能夠支持鉸接工具的使用——機器人需要獲取工具、保持接觸並操作其活動部件。研究團隊採用分層模仿學習框架，包含高層的手部子目標預測和低層的目標條件控制器。高層模塊根據當前狀態預測手部關鍵點的目標位置，低層模塊則生成實現這些目標所需的精細手指運動。他們從大規模靈巧抓取註釋中構建了一個包含35.5萬條軌跡的抓取預訓練數據集，用於預訓練低層控制器，使其學習到豐富的接觸先驗。隨後，在下游任務演示上進行微調，以適應具體的工具使用任務。為了評估該設置，研究者引入了DexCraft仿真基準，包含六種需要協調手指運動的鉸接工具使用任務，例如使用剪刀、鉗子、扳手等。這些任務要求機器人同時實現穩定的抓取和精確的操作。在仿真和真實世界實驗中，該方法均優於端到端擴散策略基線和從頭訓練的分層策略。在真實環境中，與DP3相比，全任務成功率提高了33.3個百分點，從大約40%提升至73.3%，展示了顯著的性能提升。這些結果表明，抓取數據集不僅可以作為抓取合成的資源，還可以作為接觸豐富靈巧操作的可擴展預訓練數據。該工作由Ying Yuan等人在arXiv上發佈，項目頁面提供視頻和代碼。這一創新為機器人學習提供了新的視角，即利用現有的大規模數據集進行預訓練，從而減少對任務特定數據的需求，加速機器人在複雜操作任務上的部署。