基于单目视觉的抓取控制框架

在非结构化环境中进行抓取操作，需要处理从柔软可变形到刚性日常物品等力学特性迥异的物体。现有方法通常分别处理这些类别，并依赖触觉传感、物体特定模型或专用夹爪，这限制了其通用性和实用性。本文提出一种统一的单目视觉抓取框架，仅使用RGB输入和位置控制夹爪，在单一控制管道中同时针对软硬物体。该系统集成了开放词汇物体检测、图像分割、边界感知点分配、实时点跟踪和单目深度估计，从视觉观测中恢复物体运动与几何信息。框架的关键组件是一种基于语言的刚度估计模型，该模型从语义描述推断物体的预期柔顺性，并在接触前提供物体级先验以选择抓取策略。例如，对于生菜等易变形物体，模型会预测较低的刚度，从而采用更柔和的抓取方式；而对于塑料瓶等刚性物体，则采用更强的夹持力。对于可变形物体，抓取适应由基于跟踪关键点计算的Procrustes差异度量控制，该度量作为变形的视觉代理，实时调整夹爪姿态。对于刚性物体，通过跟踪点距离的缩放来调节夹爪宽度。我们在Franka Emika Research 3机械臂上进行了真实世界的拾放实验，使用了力学特性差异显著的物体，包括生菜、新鲜马苏里拉奶酪、牛角包、纸巾和硬塑料瓶。实验结果表明，该框架仅通过视觉反馈即可实现对软硬物体的稳定抓取，成功率高且无需额外传感器。这一方法突显了一种实用、传感器高效且可泛化的解决方案，尤其适用于食品处理和家庭操作等场景，为未来机器人抓取技术的发展提供了新思路。该论文已被IEEE/ASME先进智能机电一体化国际会议（AIM 2026）接收。