GenVid2Robot: 剛体幾何的一貫性を介した動画生成からロボット操作へ
GenVid2Robotは、生成された動画の動きを実行可能なロボット操作軌道に変換する剛体幾何的一貫性フレームワークを提案する。実RGB-D最初のフレームからタスク関連の意味的アンカーをサンプリングし、生成動画内で追跡、スパースな相対SE(3)モデルで幾何的一貫性を検証し、一貫性のある動きのみをロボットに転送、有界深さ補償モジュールで実行誤差を低減することで、生成動画誘導操作の信頼性を向上させる。
生成動画はロボット操作にとって有用な視覚的運動事前分布を提供するが、その視覚的妥当性は物理的な実行可能性を意味しない。生成動画には通常、計量幾何、把持の接地、ロボットの運動学的実現可能性、実行時のフィードバックが欠けており、実世界での直接的な軌道再生は信頼性に欠ける。この問題に対処するため、研究者らはGenVid2Robotを提案した。これは、生成された動画の動きを実行可能な実ロボット操作軌道に変換する剛体幾何的一貫性フレームワークである。
初期のRGB-D観測とタスク指示が与えられると、GenVid2Robotは実フレームの最初のフレームからタスク関連の意味的アンカーをサンプリングし、生成された動画候補内でこれらのアンカーを追跡する。そして、スパースな相対SE(3)モデルの下で、結果として得られる2D運動が最初のフレームのRGB-Dアンカーによって説明可能かどうかを検証する。このように、生成動画は直接的なロボットデモンストレーションではなく、不確実な視覚運動仮説として扱われる。幾何的に一貫性のある運動のみがロボットに転送される。
受け入れられた相対運動は、マスク制約把持によって選択された実把持時TCPポーズに適用され、視覚運動事前分布と物理的把持構成の両方に一貫した把持条件付き実行軌道を生成する。RGB-Dノイズ、キャリブレーション残差、接触による小さな変位に起因する実行ミスマッチを低減するため、有界深さ補償モジュールが、完全なオンライン再計画を前提とせずに局所的な深さ方向の誤差を補正する。
実ロボット実験により、GenVid2Robotが、スパースな計量幾何、把持制約、ロボット実現可能性チェック、有界実行フィードバックで視覚運動事前分布を基礎付けることにより、生成動画誘導操作の信頼性を向上させることが示された。このフレームワークは、生成モデルをロボット操作に活用する新しいアプローチを提供し、複雑な操作タスクへの応用が期待される。本手法はHaohui Huangらによって2026年7月10日にarXivに提出され、プレプリント番号は2607.09191、ロボティクスおよび機械学習分野に分類される。