超越視覺抓取：從檢測到執行的複雜抓取基準測試

近年來，大規模基礎模型在機器人任務推理中展現出令人矚目的能力，然而，現有的機器人抓取基準測試卻未能跟上這一發展。當前的主流基準過於聚焦於孤立的視覺抓取姿態檢測，即僅根據物體圖像預測最佳抓取位置和方向，而忽略了實際應用中常見的多步推理和語義理解需求。例如，一個機器人可能需要先清理障礙物才能抓取目標物體，或者需要根據物體的用途（如工具的使用方式）來調整抓取策略。這類複雜場景在現有的基準中鮮有體現。為了解決這一問題，來自多所機構的Hanyi Zhang等12位研究者共同提出了GCA-Bench（Grasping with Complex Action Benchmark），這是一個專門用於評估複雜抓取任務的新型基準。GCA-Bench包含了多個精心設計的“複雜動作抓取”場景，這些場景不僅需要機器人進行場景級推理（如理解物體之間的空間關係），還需要滿足語義約束（如抓取時不能損壞易碎物品）。該基準能夠統一評估多種最新的大型基礎模型，包括視覺語言模型和多模態模型。為了驗證GCA-Bench的有效性，研究者們實現了一系列基線方法，從傳統的抓點檢測管道（如基於點雲的Grasp Pose Detection）到端到端學習方法（如基於強化學習的抓取策略）。實驗結果顯示，在GCA-Bench的複雜場景中，所有方法的成功率均低於70%，其中一些方法的成功率甚至不足50%，這充分揭示了當前抓取技術在應對複雜任務時的嚴重侷限性。此外，研究者還提出了新的評估指標，例如“語義約束滿足率”和“推理步驟完成度”，並系統地分析了關鍵的失敗模式，包括語義理解錯誤、多步推理崩潰和物體交互失敗等。這些分析為開發更具魯棒性和泛化能力的抓取策略提供了寶貴的指導。GCA-Bench的發佈標誌着機器人抓取評估從單純的視覺檢測邁向全流程智能評估的重要一步，有望推動未來抓取系統在實際應用中的進步。該論文於2026年7月15日提交至arXiv，並獲得了cs.RO和cs.AI的分類。