arXiv 于2026年6月15日发布了一篇题为《Contrastive Action-Image Pre-training for Visuomotor Control》（用于视觉运动控制的对比动作-图像预训练）的新论文，作者为Yuvan Sharma等共19人。该论文属于机器人学（cs.RO）领域，并交叉涉及计算机视觉与模式识别（cs.CV）。论文提出了名为CAIP（Contrastive Action-Image Pre-training）的视觉编码器，旨在解决机器人视觉编码器面临的一个根本性瓶颈：机器人数据集缺乏大规模预训练所需的规模。
现有机器人视觉编码器通常借助互联网规模的图像和语言数据，或第一人称人类视频来规避数据稀缺问题。这些模型虽然展现出潜力，但都没有从配对的视觉与动作数据中学习，而下游视觉运动控制策略恰恰需要这种配对信号。机器人轨迹是最直接的配对信号来源，但其规模远不足以支撑预训练。因此，研究者转而从丰富的人类视频中提取动作信号。
CAIP的核心思路是将大规模第一人称视频中的人手姿态视为末端执行器动作的代理。具体而言，研究团队提取3D手部关键点，这种表示能够自然地与下游机器人动作空间对齐。通过对比学习目标，CAIP学习到一个统一的动作-图像表示。该方法利用了32,041小时的第一人称人类视频，以及仅88小时的机器人操作数据。
在评估中，CAIP超越了包括DINOv2、SigLIP、MVP和R3M在内的当前最先进视觉编码器。研究团队在具有挑战性的真实世界灵巧操作设置上进行了测试，使用了Dexmate Vega和Sharpa Wave机械手。在折叠、倾倒和精细操作等任务上，CAIP取得了超过30%的性能提升。
论文摘要总结道，这种以动作为中心的对比预训练方法为获得更适合物理交互的鲁棒视觉表示提供了一条可扩展的路径。该论文以PDF和实验性HTML格式提供，全文约31,421 KB，提交时间为2026年6月15日20:00:20 UTC。