基於單目視覺的抓取控制框架

在非結構化環境中進行抓取操作，需要處理從柔軟可變形到剛性日常物品等力學特性迥異的物體。現有方法通常分別處理這些類別，並依賴觸覺傳感、物體特定模型或專用夾爪，這限制了其通用性和實用性。本文提出一種統一的單目視覺抓取框架，僅使用RGB輸入和位置控制夾爪，在單一控制管道中同時針對軟硬物體。該系統集成了開放詞彙物體檢測、圖像分割、邊界感知點分配、實時點跟蹤和單目深度估計，從視覺觀測中恢復物體運動與幾何信息。框架的關鍵組件是一種基於語言的剛度估計模型，該模型從語義描述推斷物體的預期柔順性，並在接觸前提供物體級先驗以選擇抓取策略。例如，對於生菜等易變形物體，模型會預測較低的剛度，從而採用更柔和的抓取方式；而對於塑料瓶等剛性物體，則採用更強的夾持力。對於可變形物體，抓取適應由基於跟蹤關鍵點計算的Procrustes差異度量控制，該度量作為變形的視覺代理，實時調整夾爪姿態。對於剛性物體，通過跟蹤點距離的縮放來調節夾爪寬度。我們在Franka Emika Research 3機械臂上進行了真實世界的拾放實驗，使用了力學特性差異顯著的物體，包括生菜、新鮮馬蘇裏拉奶酪、牛角包、紙巾和硬塑料瓶。實驗結果表明，該框架僅通過視覺反饋即可實現對軟硬物體的穩定抓取，成功率高且無需額外傳感器。這一方法突顯了一種實用、傳感器高效且可泛化的解決方案，尤其適用於食品處理和家庭操作等場景，為未來機器人抓取技術的發展提供了新思路。該論文已被IEEE/ASME先進智能機電一體化國際會議（AIM 2026）接收。