ACE-Ego-0は、視覚-言語-行動（VLA）モデルの事前学習におけるデータボトルネックを解決することを目的とした統合フレームワークです。VLAモデルが最高の性能を発揮するには、大規模で多様な身体化データが必要ですが、ロボット軌道の収集はコストが高く労働集約的です。近年、大規模な一人称人間動画が補完的な実世界監督を提供できることが示されていますが、行動空間、身体構造、時間的ダイナミクス、監督品質の違いにより、人間とロボットのデータを共同で訓練することは依然として困難です。
ACE-Ego-0は、一人称人間動画から大規模な事前学習監督を抽出するために、スケーラブルな一人称動画から行動へのパイプラインを構築しました。このパイプラインは、生の人間動画をロボット形式の疑似行動軌跡に変換し、事前学習に利用できる大量のラベルを生成します。これらの疑似ラベルをロボットのデモンストレーションと比較可能にするため、ACE-Ego-0はカメラ空間行動、形態条件付け、時間整合行動チャンキングに基づく統一行動表現を採用しています。この表現により、人間とロボットのデータ間のギャップが効果的に橋渡しされます。
人間動画から生成される疑似行動ラベルには必然的にノイズが含まれるため、ACE-Ego-0は信頼性を考慮した訓練目標を設計しました。この目標は人間補助損失を導入し、信頼できる信号に監督を集中させることで、ノイズの多い疑似行動監督を堅牢に活用します。これにより、モデルはノイズの悪影響を避けつつ、大規模な人間データから利益を得ることができます。
研究チームは、4.53K時間のロボットおよびシミュレーションデータと、1.48K時間の疑似行動ラベル付き一人称人間データでACE-Ego-0を実装しました。実験結果は、信頼性を考慮した重み付けの下で大規模な人間監督を導入することで、統一共同事前学習と教師あり微調整の両方が一貫して改善されることを示しています。ACE-Ego-0は、RoboCasa GR1 TableTopおよびRoboTwin 2.0ベンチマークで最先端の性能を達成し、実世界の両腕操作への強い転移能力を示しました。この研究は、人間の動画データを活用してVLA事前学習を拡張するための効果的なソリューションを提供します。