EgoSteer: 一人称視点ビデオからの操縦可能な器用操作を実現するフルスタックシステム
EgoSteerは、一人称視点の人間ビデオからVLAモデルを大規模事前学習し、ロボット後訓練によりデータ効率の良い器用操作を実現するフルスタックシステムです。EgoSmithデータパイプライン（9.6K時間、スループット9倍向上）、統一ロボットスタック、世界モデル強化VLAを統合。40以上のタスクで自由形式指示を堅牢に実行し、故障回復と汎化を示します。長期的な箱折りタスクでは75%以上の成功率を達成。システム、データ、モデルはオープンソースです。
EgoSteer：一人称視点ビデオから操縦可能な器用操作を実現するフルスタックシステム
近年、汎用ロボットポリシーにおける操縦可能性（steerability）は重要な能力とされていますが、器用なハンドシステムでは、大規模で言語に整列し、動作が正確なデモンストレーションデータが不足しているため、この能力がほとんど欠如しています。このボトルネックを解決するために、Yifan Zhong氏を含む16名の研究者からなるチームは、EgoSteerというフルスタックシステムを提案しました。本システムは、一人称視点の人間ビデオから大規模な器用VLA事前学習を行い、データ効率的な実ロボット後訓練を可能にします。
EgoSteerは、EgoSmithデータパイプライン、統一ロボットテレオペレーションスタック、および世界モデルで強化されたVLAポリシーの3つの主要コンポーネントで構成されます。EgoSmithは、インターネット上の野生の一人称ビデオから9.6K時間の高品質事前学習データをキュレーションし、従来の最先端手法と比較して9倍のスループットと高い精度を達成します。統一ロボットスタックは、テレオペレーションと人間参加型の修正をサポートし、後訓練を効率化します。EgoSteerモデルは、人間データの事前学習により言語誘導操作の事前知識を獲得し、ロボット後訓練とDAgger（データセット集約）アルゴリズムによる改良を経て、ロボット固有のドメインに適応します。
実験では、EgoSteerは40以上の多様なタスクにおいて自由形式の指示を堅牢に実行し、故障回復、器用性、汎化能力を示しました。また、事前学習モデルは、箱折りなどの複雑な長期間タスクにわずかな例で適応可能であり、2つの異なるロボットプラットフォームで75%以上の成功率を記録しました。研究チームは、システム、データ、モデルをオープンソースとして公開しており、プロジェクトウェブサイト（https://egosteer.github.io/）で入手可能です。
本論文は2026年6月21日にarXivに提出されました。EgoSteerの研究は、汎用ロボットポリシーにおける操縦可能性の実現に貢献し、家庭や産業現場でのロボット操作の実用化を加速することが期待されます。