単眼視覚に基づく把持制御フレームワーク

非構造化環境での把持操作は、柔らかく変形しやすいものから剛性の高い日常物体まで、力学特性が大きく異なる物体を扱う必要があります。既存のアプローチの多くはこれらのカテゴリを別々に扱い、触覚センシング、物体固有モデル、または専用グリッパに依存しており、汎用性に欠けるという課題があります。本論文では、RGB入力と位置制御グリッパのみを使用し、単一の制御パイプラインで軟硬両方の物体を対象とする統一的な単眼視覚ベースの把持フレームワークを提案します。提案システムは、オープンボキャブラリ物体検出、画像セグメンテーション、境界認識点割り当て、リアルタイム点追跡、単眼深度推定を組み合わせ、視覚観測から物体の動きと形状を復元します。フレームワークの重要な構成要素は、言語ベースの剛性推定モデルであり、物体の意味記述から期待されるコンプライアンスを推測し、接触前に把持戦略を選択するための物体レベルの事前情報を提供します。例えば、レタスのような柔らかい物体に対しては低い剛性を予測し、より穏やかな把持方法を選択します。変形可能な物体の場合、把持適応は追跡されたキーポイントから計算されるプロクラステスベースの非類似度によって制御され、変形の視覚的代理として機能します。剛性物体の場合、グリッパ幅は追跡された点距離のスケーリングによって調整されます。提案手法をFranka Emika Research 3アームを用いた実世界のピックアンドプレース実験で検証し、レタス、フレッシュモッツァレラチーズ、クロワッサン、ペーパータオル、硬質プラスチックボトルなど、力学特性が大幅に異なる物体を使用しました。結果は、視覚フィードバックのみで軟硬両方の物体に対して安定した把持を達成し、食品取り扱いや家庭用操作のための実用的でセンサ効率が高く一般化可能なアプローチであることを示しています。本論文は2026年のIEEE/ASME先進インテリジェントメカトロニクス国際会議（AIM 2026）に採択されています。