MonoDuo：利用单机械臂学习双机械臂策略
MonoDuo提出了一种利用单臂机器人演示结合人类协作来训练双臂操纵策略的方法。通过在单臂遥操作和角色互换中收集数据，并利用手部姿态估计、图像分割和修复技术生成合成演示，MonoDuo在五项任务中实现了高达70%的零样本成功率，并通过少量微调进一步提升性能。
文章情报
要点
- MonoDuo框架使用单臂机器人数据训练双臂策略，解决双臂机器人数据稀缺问题。
- 通过人机协作遥操作收集数据，并利用视觉技术生成合成双臂演示。
- 在五项任务上零样本部署成功率达70%，少量微调后成功率提升65-70%。
为什么重要
这条新闻值得关注，因为MonoDuo框架使用单臂机器人数据训练双臂策略，解决双臂机器人数据稀缺问题。
技术影响
可能影响 Agent 架构、工具调用、工作流自动化和产品集成。
双臂协调对于许多真实世界的操作任务至关重要，例如箱子搬运、背包打包、布料折叠、夹克拉链和盘子交接等。然而，学习双臂机器人策略受到双臂机器人和数据集稀缺的限制。与此同时，单臂机器人在研究实验室中广泛可用。MonoDuo框架旨在利用单臂机器人演示结合人类协作来训练双臂操作策略，从而绕过双臂数据稀缺的瓶颈。
MonoDuo通过遥操作单臂机器人执行双臂任务的一侧，同时由人类执行另一侧来收集数据，然后交换角色以覆盖两侧。这种方法能够高效地收集多样化的演示数据。来自腕装和固定摄像头的RGB-D观测数据，通过最先进的手部姿态估计、图像和点云分割以及修复技术，被增强为目标双臂机器人的合成演示。这些合成演示基于真实机器人运动学，确保了物理可行性，并用于训练双臂策略。
研究团队在五项具有挑战性的任务上评估了MonoDuo：箱子搬运、背包打包、布料折叠、夹克拉链和盘子交接。与仅依赖人类双臂视频的方法相比，MonoDuo能够在未见过的新双臂机器人配置上实现零样本部署，成功率高达70%。仅需25个目标机器人演示，通过少量微调即可将成功率进一步提高65-70%，相比从头训练有显著提升。这一结果表明，MonoDuo能够高效地将单臂机器人数据中的知识迁移至双臂机器人策略。
该成果已被2026年IEEE国际机器人与自动化大会（ICRA）接收，将于2026年6月1-5日在奥地利维也纳举行。MonoDuo为利用广泛可用的单臂机器人资源训练双臂策略开辟了新途径，有望加速机器人操作技能的获取和应用，尤其在工业自动化和服务机器人领域具有重要潜力。