CLAP：通过语言-动作对齐实现直接从VLM到VLA的适配

CLAP（Causal Language-Action Prediction）是一种新颖的方法，旨在将预训练的视觉-语言模型（VLM）高效转换为视觉-语言-动作模型（VLA），同时保持骨干网络结构的最小改动。在机器人学习领域，VLA模型通常需要通过大规模机器人数据进行后训练，并且经常伴随架构修改，这会显著改变原VLM的骨干网络，使得研究者难以区分VLM本身对控制任务的贡献。CLAP的核心洞见在于，直接使用数值令牌表示动作会导致输出分布与VLM预训练的语言分布不匹配，从而削弱模型的语言理解能力。为了解决这一问题，CLAP在每个数值动作序列前添加一个自然语言的动作描述，使得精确的动作令牌预测可以因果地依赖于语言-动作计划，而无需修改骨干架构。通过将语言描述作为前缀，CLAP使模型在生成动作时首先考虑语言计划，从而确保动作与语义一致。这种方法仅通过单周期的微调即可实现出色的性能，避免了传统方法中需要大量数据和计算资源进行后训练的缺点。在LIBERO基准测试中，2B参数量的CLAP模型达到了90.8%的准确率，比VLA-0高出14.9个百分点，并且在LIBERO-PRO的评估中，面对语言指令变化、物体替换和环境空间布局扰动等多种干扰，CLAP表现出更强的鲁棒性。研究团队来自东京大学等机构，他们计划发布三个不同规模的开放权重模型，参数规模分别为0.8B、2B和4B，这些模型均基于同一个VLM谱系，旨在为VLM到VLA能力迁移的可控分析提供一个清晰的平台。这一工作不仅为机器人控制中的模型适配提供了一条高效路径，也加深了我们对大型视觉语言模型能力迁移机制的理解。CLAP有望大幅提升机器人理解并执行复杂指令的能力，为未来机器人学中语言与行动的融合开辟了新道路，具有重要的学术和实践意义。