跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

从抓取到灵巧操作:大规模抓取预训练用于灵巧操作

文章摘要

该研究探索大规模灵巧抓取数据集能否支持关节工具使用中的功能性灵巧操作,提出分层模仿学习框架,结合高层手部子目标预测与低层目标条件控制器,利用35.5万条轨迹的抓取预训练数据集预训练低层控制器,并在下游任务演示上微调。在仿真和真实实验中,该方法优于端到端扩散策略基线和从头训练的分层策略,真实世界全任务成功率比DP3提高33.3个百分点。

来源arXiv Robotics作者: Ying Yuan, Xinyu Liu, Sriram Krishna, David Held
从抓取到灵巧操作:大规模抓取预训练用于灵巧操作
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

本文介绍了一项来自arXiv的研究,题为《From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation》,由Ying Yuan与另外三位作者共同完成,于2026年6月29日提交至arXiv(编号2606.30749,属机器人学cs.RO分类)。研究的核心问题是:大规模灵巧抓取数据集长期以来主要用于抓取生成和拾取-放置操作,那么这类数据能否进一步支撑更复杂的功能性灵巧操作,即在需要操作铰接工具的场合中,机器人必须先获取工具、保持接触,并驱动工具的功能性活动部件。

为了回答这一问题,作者构建了一套分层模仿学习框架,该框架由两部分组成:高层模块负责预测手部子目标,低层模块则是以目标为条件的控制器。研究团队从大规模灵巧抓取标注中整理出一个包含35.5万条轨迹的抓取预训练数据集,并用它来预训练低层控制器,随后再在下游任务示教数据上进行微调。这种“先大规模预训练、再下游微调”的思路,正是把抓取数据当作可扩展的通用预训练资源,而不仅仅是抓取合成的素材库。

在评估方面,作者提出了DexCraft——一个面向铰接工具使用的仿真基准,包含六个需要协调手指运动的任务。这些任务要求机器人在接触丰富、动作精细的条件下完成操作,比单纯的抓取或搬运更具挑战性。在仿真和真实世界实验中,该方法均优于端到端的扩散策略基线,也优于从零开始训练的分层策略。在真实环境中,相比DP3基线,该方法将完整任务成功率提升了33.3个百分点,这一幅度相当可观。

研究结论指出,抓取数据集不仅可以作为抓取合成的资源,还能作为接触丰富型灵巧操作的可扩展预训练数据。论文提供了项目页面和视频链接以展示实验结果。需要说明的是,本文属于预印本,提交时间为2026年6月29日,尚需经过同行评审,其结论的普适性仍需后续研究进一步验证;不过,它为进一步挖掘现有大规模抓取数据的价值提供了新的方向,也提示分层模仿学习结合大规模预训练在灵巧操作领域具有潜力。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出分层模仿学习框架,结合高层手部子目标预测与低层目标条件控制器
  • 构建包含35.5万条轨迹的抓取预训练数据集,用于预训练低层控制器
  • 引入DexCraft仿真基准,包含六个需要协调手指运动的关节工具使用任务
  • 真实世界实验全任务成功率比DP3提升33.3个百分点

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。