SceneBot：接触プロンプトによる汎用人型全身トラッキングとシーン相互作用
SceneBotは、自由空間移動、地形踏破、全身操作を統一的に扱う人型ロボット用の運動追跡フレームワークです。参照動作とリンクごとの接触ラベルの両方に基づいて単一のポリシーを条件付け、環境との相互作用を明示的に定義します。注釈付き相互作用データの不足を解決するために、著者らはリターゲットされた人間の動作からシーン相互作用グラフを推論する hindsight シーン再構築手法を提案します。再構築された接触豊富なデータで7.5時間トレーニングされたSceneBotは、未知の動作や環境に一般化し、箱を階段で運ぶような複雑な長期的タスクを実行できます。これは自由空間と接触豊富な行動をシームレスに統合した初の汎用フレームワークです。
現在の人型ロボット強化学習ポリシーは自由空間での動作に優れていますが、物体との相互作用や不整地での接触を伴うタスクでは困難を伴います。純粋な運動学的追跡では、物体や不均一な地形と相互作用する際の物理的な曖昧さを解決できません。この課題に対処するため、研究者らはSceneBotを導入しました。SceneBotは、自由空間移動、地形踏破、全身操作を扱える統一的な運動追跡フレームワークです。
SceneBotの核となる革新は、単一のポリシーを参照動作とリンクごとの接触ラベルの両方で条件付ける点にあります。これにより、ロボットと環境の間の期待される相互作用が明示的に定義されます。しかし、注釈付きの相互作用データは非常に不足しています。そこで研究チームは、人間の動作を人型ロボットにリターゲットすることでシーン相互作用グラフを推論する、hindsightシーン再構築手法を提案しました。これにより、接触豊富なトレーニングデータを自動生成します。
この手法を用いて、チームは7.5時間分の再構築データを収集し、SceneBotをトレーニングしました。実験結果は、SceneBotが未知の動作や環境にうまく一般化できることを示しています。自由空間動作だけでなく、箱を階段で運ぶような複雑で長期的なタスクも実行可能です。研究チームは、接触条件付けが人型ロボット制御の強力なインターフェースであり、SceneBotが自由空間と接触豊富な行動をシームレスに統合した初の汎用フレームワークであると述べています。この研究は2026年6月25日にarXivに提出され、すべてのコードとデータはオープンソース化され、詳細なデモはプロジェクトウェブサイトで公開されます。