近年、言語駆動の器用な把持モデルはロボット操作の分野で大きな進歩を遂げています。例えば、DextERなどのモデルは、「ハンドルをつかむ」などの自然言語の指示に従ってロボットハンドによる把持タスクを実行でき、把持位置が指定されると優れた性能を発揮します。しかし、指示に「ハンドルをつかむが、本体は避ける」といった否定制約が明示的に含まれる場合、これらのモデルの性能は大幅に低下し、系統的に失敗することがあります。この失敗はいくつかの要因に起因します。
まず、既存のトレーニングコーパス（DexGYSNetを含む）には、特定の領域に触れないように指示する命令がほぼ含まれていません。このため、モデルはトレーニング中にそのような制約に遭遇することがなく、制約を守る方法を学ぶことができません。次に、可能なすべての制約をカバーする例を収集することはコストがかかるだけでなく、実際のアプリケーションでは実用的ではないことがよくあります。なぜなら、制約の組み合わせは無限に存在するからです。さらに厄介なことに、トレーニング中に指示で言及される各部品は通常、接触ターゲットと見なされます。このようなトレーニングパターンは、モデルを誤解させ、禁止された部品を避けるべき領域ではなく、別の把持領域として誤って解釈する可能性があります。
この課題に対処するため、我々は否定制約付きの器用な把持のための新しい推論時フレームワークを提案します。このフレームワークの主な利点は、否定制約に特化したトレーニングサンプルを一切必要としないことです。具体的には、逐次モンテカルロ法（SMC）と分類器フリーガイダンス（CFG）という2つの高度な技術を組み合わせます。推論中、SMCは粒子サンプリングを使用して考えられる把持プランを探索し、CFGはこれらのサンプルを指示で明示的に指定された目標部品に向けて導き、同時に禁止領域に近づく可能性のある候補を能動的に剪定します。この「ガイド＋剪定」の二重メカニズムにより、ロボットは複雑な制約に直面しても、禁止領域に触れることなく把持動作を正確に実行できます。さらに、指示で言及された禁止領域を正確に特定するために、凍結された3Dパーツグラウンディングモデルを使用します。このモデルは、自然言語の部品記述をオブジェクト上の具体的な3D領域に変換し、システムが空間的にどこを避けるべきかを知ることができます。
この方法の性能を科学的に評価するために、我々は否定制約シナリオに特化したベンチマークデータセットであるNegGraspを構築しました。このベンチマークには、肯定および否定の指示のペアが含まれており、制約認識メトリクスが設計されています。これらのメトリクスは、把持がタスクを正常に完了したかどうかだけでなく、把持動作が制約を守っているかどうかも厳密にチェックします。両方の条件を満たす場合にのみ、把持は有効と見なされます。評価では、我々の方法は顕著な優位性を示しました。NegGrasp上で、最も強力なベースラインの違反率を57.9%から17.2%に大幅に削減し、同時に制約認識成功率と物理的成功率の両方を効果的に向上させました。
この研究成果は、ロボットが複雑な言語命令を理解し、微細な操作能力を発揮するための重要な意義を持ちます。推論時フレームワークを導入することで、モデルを再トレーニングすることなく、さまざまな新しい制約に適応でき、既存モデルの適用範囲を大幅に拡大します。今後は、この方法をエンドツーエンドのトレーニングに統合し、より広範なロボット操作タスクに拡張することを計画しています。