近年、人型ロボットの全身視覚運動ポリシーの訓練には高品質なデータ収集が不可欠ですが、従来のロボットテレオペレーションによる手法はハードウェアの制約や効率の低さが課題でした。この問題を解決するため、BifrostUMIと呼ばれる革新的なデータ収集フレームワークが提案されました。本研究はUniversal Manipulation Interface（UMI）から着想を得ており、軽量VRデバイスを用いて人間の自然なデモンストレーションを記録します。従来の方法では高価で複雑なロボットハードウェアが必要でしたが、BifrostUMIは消費者向けVR機器を活用することで、データ取得の障壁を大幅に低減します。
BifrostUMIのプロセスは、まずVRヘッドセットとコントローラで手や腕のスパースキーポイント軌跡を捉え、同時に手首カメラの視覚データを収集します。これらのマルチモーダルデータは、将来のキーポイント軌跡を視覚特徴に基づいて予測する高レベルポリシーネットワークの訓練に使用されます。これにより、システムは単なる記録ではなく、人間の操作における意図や技巧を学習することが可能になります。
次に、堅牢なキーポイントリターゲティングパイプラインが、人間の軌跡を人型ロボットの関節空間にマッピングします。このパイプラインは、人体とロボットの形態の違いを考慮し、関節角度や姿勢を自動的に調整します。そして、全身コントローラがその軌跡を実行することで、ロボットは掴む、置く、移動するといった柔軟な動作を再現できます。研究チームは、テーブル上の精密操作と移動ナビゲーション操作という2つの異なる実験シナリオでフレームワークを評価しました。結果、BifrostUMIは多様な敏捷な行動を効果的に転送でき、新しいタスクごとにモデルを再訓練する必要がないことが示されました。
この研究は、人型ロボットのスキル学習におけるデータ収集の新たなパラダイムを提供し、サービス、製造、医療などの分野での実用化を促進すると期待されます。今後の方向性としては、キーポイントリターゲティングの精度向上や、より複雑な全身協調タスクへの拡張が挙げられます。