人間の一人称デモンストレーションからロボットの器用な操作を学習することは、データ収集の障壁を下げる重要なアプローチとして注目されています。しかし、実際の一人称RGB-D動画には物体の姿勢や形状、接触情報が欠けていることが多く、あるいは事前にスキャンした物体アセットに依存しなければならないため、ロボット学習にそのまま利用するのは困難でした。この課題に対して、論文「EgoAERO: Learning Dexterous Manipulation from a Single Egocentric Video without Object Assets」は、物体アセットを一切必要とせず、単一の一人称RGB-D人間デモンストレーションから器用な操作を学習する初のフレームワークを提案しています。
EgoAEROの中核となるアイデアは、CADモデルや事前スキャンアセットに依存せず、動画から接触整合性のある手-物体インタラクション軌跡を直接再構成することです。そのために、三つの主要技術を組み合わせています。第一に、幾何学的な事前情報がない状態で物体の動きと形状を復元するアセット不要の物体追跡・再構成。第二に、カメラを装着した人体自身の動きによる視点の乱れを補正する自己運動補償。第三に、再構成された手と物体が接触点で物理的に整合するようにする適応的接触最適化です。このパイプラインにより、元の動画はロボット学習に利用可能な高品質な軌跡データへと変換されます。
人間のデモ軌跡が得られた後、EgoAEROは2段階残差学習を用いてそれをロボットポリシーに変換します。この設計により、ロボットは複雑な報酬関数の手動設計や大規模な強化学習を必要とせず、人間の動作から器用な操作スキルを学習できます。さらに研究チームはオンライン品質評価機構を導入し、データ生成とポリシー学習の過程で高品質なサンプルを自動的に選別することで、学習効率と安定性の向上を図っています。
より大規模な器用操作ポリシーの学習を支援するため、著者らはEgoDex-Rデータセットを構築しました。これは430万RGB-Dフレームを含む大規模な一人称データセットであり、コミュニティに豊富な人間の器用操作デモンストレーションを提供することで、この分野に長く存在するデータボトルネックの緩和が期待されます。
実験面では、シミュレーションと実世界環境の両方で結果が報告されています。EgoAEROは単一のデモンストレーションから器用な操作を学習でき、HOI4DベンチマークにおいてCADベースの再構成手法に近い下流性能を達成しました。これは、物体アセットを一切使用しない条件下で、正確な物体モデルに依存する従来のパイプラインに迫る性能が得られることを意味します。論文は2026年6月6日に投稿され、Yichen Niu氏ら15名による共著で、研究分野はロボティクス（cs.RO）および人工知能（cs.AI）にまたがっています。