Xiaomi Roboticsチームは、新しい基礎的視覚言語行動（VLA）モデル「Xiaomi-Robotics-1」を発表しました。このモデルは、さまざまな言語指示に従って、未見の環境で移動操作タスクを実行できるだけでなく、最小限の微調整データで新しい下流タスクに効率的に適応することができます。
研究チームは、プレトレーニングとポストトレーニングからなる2段階のトレーニング手法を提案しています。プレトレーニングでは、UMIデバイスを介して収集された10万時間以上の実世界の操作軌跡を用いて、モデルに広範かつ汎用的な行動生成能力を付与します。さらに、軌跡クリップに対してシーン状態遷移を自然言語で注釈するスケーラブルな自動ラベリングパイプラインを開発し、行動学習のための豊富で正確な条件付けを提供します。ポストトレーニングでは、これらの能力をロボットのエンボディメントや人間が自然にロボットに指示する命令と整合させることを目指しています。
実験では、強いスケーリング挙動が示されました。Xiaomi-Robotics-1は、プレトレーニング中のデータ規模とモデルサイズの増加に伴って一貫して性能が向上し、このスケーリング挙動はポストトレーニングに直接転移しました。つまり、より強力なプレトレーニングモデルは、未見環境でのゼロショット実ロボット性能を向上させます。さらに、Xiaomi-Robotics-1は、複雑で器用なタスクに対して高いデータ効率で効率的に微調整可能な強力なロボット基盤ポリシーとして機能します。
複数のシミュレーションベンチマークにおいて、Xiaomi-Robotics-1は最先端手法を凌駕しました。特に、RoboCasa365では、従来の最高46.6%から57.6%の成功率を達成し、新たな最高記録を樹立しました。さらに、RoboDojoでは平均スコア20.07を獲得し、以前の最高スコア13.07を大幅に上回りました。
コードとモデルチェックポイントは今後公開される予定です。詳細はプロジェクトページをご覧ください。