人型ロボットによる長期的なロコ操作(歩きながらの物体操作)は、個々のメタスキルの確実な実行と、それらをシームレスに連鎖させ、失敗時に自律回復する能力を必要とする。既存手法は、接触点や力を明示的に表現する方法(高精度だが高レベル計画には不向き)と、潜在変数としてスキルを埋め込む方法(コンパクトだが解釈性に欠け信頼性のある構成が困難)に限られていた。
本研究では、OmniContactという階層的フレームワークを提案する。その中心は「コンタクトフロー(CF)」と呼ばれるコンパクトな表現で、主要な身体軌跡と時系列二値接触信号から構成される。CFは高レベル計画と低レベル実行の共有インターフェースとして機能する。低レベルポリシーCF-Trackは模倣学習や強化学習によりCFから統一的なロコ操作スキルライブラリを学習する。一方、高レベルモジュールCF-Genは現在の状態とタスク目標に基づき、将来のCF系列をヒューリスティックに生成する。この階層設計により、ロバストな実行、自律的な障害回復、柔軟なスキル連鎖が可能となる。
研究チームは訓練と評価のため、モーションキャプチャベースの人間-物体インタラクションコーパスであるOmniContactデータセットも収集した。実験では、「箱を運ぶ」タスクで98.7%、「箱を押し積みする」タスクで76.5%の成功率を達成し、従来のベースラインと比較してメタスキル実行成功率で平均40.9%、スキル連鎖成功率で66.5%の向上を示した。
さらにOmniContactは視覚言語モデル(VLM)と自然に統合できる。VLMによる意味的タスク分解により、システムは「散らばった箱をハート形に並べる」といった高次指示を理解し、対応するCF系列を自動生成して複雑な操作を実現する。この研究は汎用人型ロボット操作の新たな方向性を示しており、家庭用サービス、工業製造、災害対応などでの活用が期待される。
OmniContactの重要な貢献は、コンタクトフローというコンパクトな表現を用いて、高レベル計画と低レベル実行のギャップを埋めた点にある。明示的表現の精度と暗黙的表現の柔軟性を兼ね備え、かつ解釈可能性も提供する。今後の研究では、コンタクトフローの概念をより複雑なマルチロボット協調シナリオに拡張したり、さらなる知覚モダリティと組み合わせることで、未知環境への適応性を高める可能性がある。