ロボット用の視覚エンコーダは、ロボットデータセットが大規模事前学習に必要な規模を持たないという根本的なボトルネックに直面している。従来研究はこのデータ不足を回避するため、インターネット規模の画像と言語データ、あるいは一人称視点の人間動画に頼ってきた。しかし、これらのモデルは有望であるものの、下流の視覚運動制御ポリシーが必要とする視覚とアクションのペアデータから学習しているわけではない。ロボット軌道はこのペア信号の最も直接的な源だが、事前学習規模では利用できない。そこで本研究では、豊富に存在する人間動画からアクション信号を抽出することを動機とする。
本論文はCAIP（Contrastive Action-Image Pre-training）を提案する。これは大規模一人称視点動画における人間の手の姿勢をエンドエフェクタアクションの代理として扱う視覚エンコーダである。3D手キーポイントを抽出することで、下流のロボットアクション空間と自然に整合する表現を得て、対照目的を通じて統一的なアクション-画像表現を学習する。
データ規模の面では、CAIPは32,041時間の一人称視点人間動画を活用し、ロボット操作データはわずか88時間しか使用しない。実験では、CAIPがDINOv2、SigLIP、MVP、R3Mといった最先端の視覚エンコーダを上回ることが示された。Dexmate VegaとSharpa Waveハンドを用いた実世界の難易度の高い器用な操作設定で評価され、CAIPは折り畳み、注ぎ、細かい操作を含むタスクで30%以上の性能向上を達成した。
これらの結果は、アクション中心の対照的事前学習が、物理的インタラクションにより適した堅牢な視覚表現を実現するためのスケーラブルな道であることを示している。本論文はYuvan Sharma氏ら19名の著者によって2026年6月15日にarXivに提出され、ロボティクス（cs.RO）とコンピュータビジョン・パターン認識（cs.CV）の分野に属する。