超越视觉抓取：从检测到执行的复杂抓取基准测试

近年来，大规模基础模型在机器人任务推理中展现出令人瞩目的能力，然而，现有的机器人抓取基准测试却未能跟上这一发展。当前的主流基准过于聚焦于孤立的视觉抓取姿态检测，即仅根据物体图像预测最佳抓取位置和方向，而忽略了实际应用中常见的多步推理和语义理解需求。例如，一个机器人可能需要先清理障碍物才能抓取目标物体，或者需要根据物体的用途（如工具的使用方式）来调整抓取策略。这类复杂场景在现有的基准中鲜有体现。为了解决这一问题，来自多所机构的Hanyi Zhang等12位研究者共同提出了GCA-Bench（Grasping with Complex Action Benchmark），这是一个专门用于评估复杂抓取任务的新型基准。GCA-Bench包含了多个精心设计的“复杂动作抓取”场景，这些场景不仅需要机器人进行场景级推理（如理解物体之间的空间关系），还需要满足语义约束（如抓取时不能损坏易碎物品）。该基准能够统一评估多种最新的大型基础模型，包括视觉语言模型和多模态模型。为了验证GCA-Bench的有效性，研究者们实现了一系列基线方法，从传统的抓点检测管道（如基于点云的Grasp Pose Detection）到端到端学习方法（如基于强化学习的抓取策略）。实验结果显示，在GCA-Bench的复杂场景中，所有方法的成功率均低于70%，其中一些方法的成功率甚至不足50%，这充分揭示了当前抓取技术在应对复杂任务时的严重局限性。此外，研究者还提出了新的评估指标，例如“语义约束满足率”和“推理步骤完成度”，并系统地分析了关键的失败模式，包括语义理解错误、多步推理崩溃和物体交互失败等。这些分析为开发更具鲁棒性和泛化能力的抓取策略提供了宝贵的指导。GCA-Bench的发布标志着机器人抓取评估从单纯的视觉检测迈向全流程智能评估的重要一步，有望推动未来抓取系统在实际应用中的进步。该论文于2026年7月15日提交至arXiv，并获得了cs.RO和cs.AI的分类。