ロボット学習は、多様で大規模なデモンストレーションデータにますます依存するようになっています。ロボットにつかむ・組み立てる・日常品を操作するといったスキルを学ばせるには、さまざまなシーンや行動をカバーする教師データが必要です。しかし、実ロボットでデータを収集するのはコストが高く、現実世界のロングテールなタスクを網羅することはほとんど不可能です。このデータ不足はロボットの汎用性向上にとって深刻な障壁となっています。こうした問題を解決するため、arXivで公開された研究はRoboTokを提案しました。RoboTokは、インターネット規模の動画から、人間の操作デモンストレーションを検索して活用するデータエンジンです。
RoboTokの基本的な使い方はシンプルです。ユーザーが人間の操作動画をクエリとして与えると、システムはウェブ上の動画コレクションから関連する操作デモを検索し、それらを使って巧みなロボットポリシーを訓練します。ここでの中心的な課題は、インターネット上の動画は撮影者や環境、カメラ視点が多様であり、どの動画が同じ操作行動を示しているかをロバストに判定する方法です。RoboTokはこの課題に対して、潜在動作空間の学習というアプローチを取ります。具体的には、推定されたアクター中心の参照座標系における三次元の手の軌跡を特徴として用い、動作の類似性を比較できる空間を学習します。この表現はカメラの絶対的な位置から切り離されているため、視点やシーン外観、人物の遮蔽などの変動に対して頑健です。さらに、コンパクトな表現により、インターネット規模の動画に対する高速な類似検索や継続的なインデックス更新が可能になり、データセットを自動的に成長させ続けることができます。
研究者は、既存のロボットデータ検索手法とRoboTokを比較する評価を実施しました。検索ベンチマークでは、RoboTokがより関連性の高い操作デモを検索できることを確認。さらに、検索したデモを用いてロボットポリシーを学習し、下流の実タスク成功率を比較したところ、RoboTokを用いた場合の成功率が既存手法を上回りました。この研究成果は、手のポーズの軌跡を考慮した検索手法が、ウェブ動画を持続可能かつスケーラブルなロボット学習の監視源として利用できることを示した点で重要です。今後、RoboTokのようなアプローチは、ロボット向けデータ収集のコストを大幅に引き下げ、より広範なタスク空間でのロボット学習を促進する可能性を秘めています。