日常の人間動画でロボット操作ポリシーを共訓練する際に重要な要素は何か？
本論文は、日常のインターネット動画をロボット操作ポリシーの共訓練に利用する際に転移を左右する要因を調査している。著者らは532本の人間動画、28時間の高品質な三角測量による手ラベルを含む新データセットを構築し、手のポーズ品質が転移に影響するが、正確な手でも動作ギャップが存在し、視覚・ポリシーネットワークが各実施形態に特化しない限り転移を妨げることを発見した。提案する共訓練レシピにより、低ロボットデータ環境で6つの操作タスクにおいて成功率が29.7%絶対的に向上した。
近年、ロボット学習の分野では、膨大な人間の動画データを利用してロボット操作ポリシーを訓練する研究が注目されています。従来の手法は、人間の動作がロボットの挙動に似せて調整され、専用ハードウェアで3Dハンドポーズを計測した厳選されたデモンストレーションデータセットに依存していました。しかし、インターネット上には日常的な人間の動画が大量に存在しますが、これらの動画の動作パターンはロボット操作と大きく異なるため、その効果的な活用方法は未解決の問題でした。
今回、Richard Li氏ら5名の著者による論文「What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?」では、この問題を体系的に調査しています。研究者らは、532本の人間動画（総計28時間）からなる高品質な三角測量による手ラベル付きの新しいデータセットを構築し、動画内の動作は自然で故意に調整されていません。比較実験の結果、手のポーズの品質が転移に有意な影響を与えること、すなわちより正確な3Dハンドラベルがロボットによる人間動作の模倣学習を促進することが明らかになりました。しかし、手のラベルが正確であっても、日常動画に固有の「動作ギャップ」（人間とロボットの運動学的・動力学的差異）が転移を妨げるため、視覚ネットワークとポリシーネットワークが各ロボット形態に特化する必要があります。
これらの知見に基づき、著者らは共訓練（cotraining）手法を提案しました。この手法では、人間動画とロボットのデモデータを同時に訓練に用い、ネットワークに異なる形態を区別するよう学習させることで動作ギャップを縮小します。実験の結果、ロボットデータが限られた低データ環境において、提案手法は6つの異なる操作タスクで平均29.7%の絶対的成功率向上を達成しました。これらのタスクは、把持、配置、押す、引くなど多様なロボット操作スキルを網羅しており、手法の汎用性が確認されました。特に、各タスクのロボットデモンストレーションが非常に少ない場合でも、共訓練モデルは大量の人間動画から恩恵を受け、ロボットデータのみを用いたベースラインを大幅に上回りました。
本研究は、インターネット動画を活用してロボットデータ収集のコストを削減するための重要な指針を提供するとともに、データ品質とネットワークアーキテクチャ設計の微妙なバランスを明らかにしています。今後の展望として、非静的背景や多視点動画、異なるロボット形態間の転移など、より複雑なシナリオへの拡張が期待されます。また、手ラベルの品質が重要である一方で、より効率的な自動ラベリング手法の開発も重要な研究課題です。本論文は、ロボット学習コミュニティに実用的な共訓練フレームワークを提供し、ロボット操作ポリシーのより汎用的で経済的な発展を促進するものと言えるでしょう。