從抓取到靈巧操作：大規模抓取預訓練用於靈巧操作

近年來，機器人靈巧操作領域取得了顯著進展，但大多數方法依賴於針對特定任務的大規模演示資料，泛化能力有限。本文提出了一種新方法，透過利用大規模靈巧抓取資料集進行預訓練，增強機器人的靈巧操作能力，特別是針對鉸接工具的使用。傳統上，靈巧抓取資料集主要用於抓取生成和拾取放置操作，而這項研究拓展了其應用範圍，使其能夠支援鉸接工具的使用——機器人需要獲取工具、保持接觸並操作其活動部件。研究團隊採用分層模仿學習框架，包含高層的手部子目標預測和低層的目標條件控制器。高層模組根據當前狀態預測手部關鍵點的目標位置，低層模組則生成實現這些目標所需的精細手指運動。他們從大規模靈巧抓取註釋中構建了一個包含35.5萬條軌跡的抓取預訓練資料集，用於預訓練低層控制器，使其學習到豐富的接觸先驗。隨後，在下游任務演示上進行微調，以適應具體的工具使用任務。為了評估該設定，研究者引入了DexCraft模擬基準，包含六種需要協調手指運動的鉸接工具使用任務，例如使用剪刀、鉗子、扳手等。這些任務要求機器人同時實現穩定的抓取和精確的操作。在模擬和真實世界實驗中，該方法均優於端到端擴散策略基線和從頭訓練的分層策略。在真實環境中，與DP3相比，全任務成功率提高了33.3個百分點，從大約40%提升至73.3%，展示了顯著的效能提升。這些結果表明，抓取資料集不僅可以作為抓取合成的資源，還可以作為接觸豐富靈巧操作的可擴充套件預訓練資料。該工作由Ying Yuan等人在arXiv上釋出，專案頁面提供影片和程式碼。這一創新為機器人學習提供了新的視角，即利用現有的大規模資料集進行預訓練，從而減少對任務特定資料的需求，加速機器人在複雜操作任務上的部署。