本文介绍的是 arXiv 论文《MoDex: A Diffusion Policy for Sequential Multi-Object Dexterous Grasping》(arXiv:2606.05407v1),由 Haofei Lu 等五位作者完成,于 2026 年 6 月 3 日提交,并投稿至 CoRL 2026,属于机器人学(cs.RO)方向。论文聚焦一个灵巧操作中的现实难题:如何用同一只灵巧手连续抓取多个物体,同时不放开已经握住的物体。
现有大多数灵巧抓取方法会把手的全部自由度都投入到一个物体上。这种做法虽然能在单次抓取中取得不错效果,却低估了灵巧手的潜力,也完全没有为后续抓取预留冗余自由度。一旦手部已经握有物体,若所有手指都被占用,就很难再完成第二次抓取,连续多物体操作因此受限。
针对这一问题,作者提出 MoDex——一种扩散策略(diffusion policy)。它直接从观测中预测下一个夹爪位姿,并以对立空间(opposition space)和点云作为条件。其中对立空间条件明确了当前抓取由哪些手指参与,使夹爪只动用一部分可用自由度,而把其余自由度保留给之后的抓取。这样,同一只手可以在不松开已有物体的前提下,继续用空闲手指完成新的抓取动作。
为了便于从仿真迁移到真实硬件(sim-to-real),MoDex 采用两阶段训练:先通过模仿学习从专家示教中学习,再用强化学习进行微调。作者指出,强化学习微调能够稳定提升成功率,优于仅使用预训练策略的表现,这一设计有助于缩小仿真与真实环境之间的差距。
实验方面,作者在基于 MuJoCo 的仿真环境以及对应的真实硬件平台上进行评估,硬件平台为 Franka Emika Panda 机械臂搭配 Allegro Hand。结果显示,无论在仿真还是真实环境中,MoDex 的成功率都高于所对比的基于学习的基线方法:仿真中提升 2.92% 至 17.92%,真实环境中提升 6.67% 至 17.78%。论文提供了项目主页 https://modex2026.github.io/ 供查阅更多信息。
整体来看,这项工作的核心贡献在于把灵巧手的自由度分配问题显式引入策略设计:通过对立空间条件控制哪些手指参与当前抓取,从而为连续多物体抓取保留余量。结合扩散策略的位姿预测能力与两阶段训练流程,MoDex 在仿真与真实平台上都取得了相较基线更高的成功率,为灵巧手在复杂操作场景中的连续抓取提供了一条可行路径。