大規模な巧みな把持データセットは、手と物体の相互作用に関する豊富な事前知識を蓄えているが、その利用は主に把持生成やピックアンドプレース操作に限られてきた。本研究では、こうしたデータが関節工具使用における機能的な器用さを支えられるかどうかを探る。関節工具使用では、ロボットは工具を取得し、接触を維持し、その機能的な可動部を操作する必要がある。
著者らは階層的模倣学習フレームワークを採用した。このフレームワークは、高レベルの手部サブゴール予測と、低レベルの目標条件付きコントローラを組み合わせる。大規模な巧みな把持アノテーションから35.5万軌跡の把持事前学習データセットを構築し、低レベルコントローラの事前学習に用いた。事前学習後、コントローラは下流タスクのデモンストレーションで微調整される。
この設定を評価するため、著者らはDexCraftというシミュレーションベンチマークを導入した。これには、協調的な指の動きを必要とする6つの関節工具使用タスクが含まれる。これらのタスクでは、ロボットは工具を把持するだけでなく、接触を維持しながら工具の可動部を操作することが求められ、より高い器用さが要求される。
シミュレーションおよび実世界の実験において、本手法はエンドツーエンドの拡散ポリシーベースラインやゼロから訓練した階層ポリシーを上回った。実世界では、全タスク成功率がDP3比で33.3ポイント向上した。これは、把持データセットが把持合成のリソースとしてだけでなく、接触の多い巧みな操作のためのスケーラブルな事前学習データとしても機能することを示している。
本研究の意義は、把持データの用途を広げ、巧みな操作のためのスケーラブルな事前学習パラダイムを提供し、工具使用というより複雑なロボット操作タスクの発展を促す点にある。プロジェクトページとビデオは論文で提供されているリンクで閲覧できる。