Robbyant发布LingBot-VLA 2.0：一个开源的6B视觉-语言-动作（VLA）模型，用于跨体现机器人操作

蚂蚁集团（Ant Group）旗下的Robbyant正式发布了LingBot-VLA 2.0，这是一个基于Apache-2.0许可证的开源视觉-语言-动作（VLA）基础模型，专为机器人跨体现操作设计。此次发布同时包含了技术报告、代码库以及一个6B参数的检查点。研究团队瞄准了一个众所周知的痛点：VLA模型在实验室中表现良好，但在实际部署中却常常遇到困难。LingBot-VLA 2.0在之前版本的基础上，沿着三个实用方向进行了改进：泛化能力、扩展的动作空间以及预测动力学建模。

什么是LingBot-VLA 2.0？

LingBot-VLA 2.0是一个建立在视觉-语言骨干网络上的通用机器人策略。它能够将摄像头图像和语言指令转化为机器人动作。公开的模型为lingbot-vla-v2-6b，一个6B参数的“原生深度”检查点，采用Qwen3-VL-4B-Instruct作为VLM骨干网络。两个教师模型——LingBot-Depth和DINO-Video——通过蒸馏来监督训练过程。在一次推理调用中，使用10个去噪步骤，在NVIDIA GeForce RTX 4090D上大约需要130毫秒。动作专家采用了混合专家（MoE）设计来扩展容量。

数据管道：60,000小时，涵盖20种配置

泛化能力始于数据。研究团队整理了大约60,000小时的预训练数据，其中包括50,000小时的机器人轨迹和10,000小时的自我中心人类视频。机器人数据覆盖了20种机器人配置，从单臂装置到完整的人形机器人。原始数据规模更大，约有90,000小时的机器人数据和20,000小时的自我中心视频。重新设计的管道将噪声样本过滤掉，得到高质量的数据集。

过滤过程明确且可量化。研究团队计算了每种体现的三阶加加速度（jerk），以及速度和加速度的Z分数。异常平滑或超过95%静态信号的片段被丢弃。视频通过每个机器人的URDF模型与重放状态进行核对。标注人员会移除模糊、遮挡、丢帧和多视角错位。自我中心视频片段经过VLM过滤器，然后进行自我中心SLAM和MANO手部姿态重建。

标注过程通过视觉-语言模型自动化。Qwen3.6-27B将每个视频分割成时间上连续的子任务。每个子任务从一个包含18类原子动作的封闭词表中获得一个原子动作，包括15个原始动作以及过渡、空闲和其他。在整个语料库中，移动（move）和过渡（transit）在频率上占主导地位。

统一动作表示

不同机器人具有不同的关节，因此LingBot-VLA 2.0将其统一为55维的规范向量，用于状态和动作。这种布局在数据集中的每种体现上都是固定的。组件维度包括：手臂关节位置（14维）、末端执行器姿态（14维）、夹持器位置（2维）、手部关节位置（12维）、腰部位置（4维）、头部位置（2维）、移动信号（3维）以及保留维度（4维）。每个手臂末端执行器姿态使用XYZ坐标加上旋转四元数，每个手臂7维。对于缺少身体部位的机器人，只需填充相应的维度。这使得一个模型能够控制手臂、手、夹持器、腰部、头部和移动底座。

MoE动作专家

动作专家将其前馈网络替换为稀疏MoE层。每个MoE层保留一个共享专家以及几个路由专家。每个令牌仅激活前K个路由专家，因此活跃计算量保持有界。每个专家是一个SwiGLU MLP，中间宽度较小。路由采用基于sigmoid的无辅助损失策略，灵感来自DeepSeek-V3。每个专家的偏置用于纠正负载不平衡，而无需添加负载均衡损失。路由置信度仍来自模型原始的、无偏的亲和度分数。在匹配活跃参数的情况下，MoE模型达到了比稠密基线更低的训练损失，并且在GM-100任务上达到了更低的验证动作误差。

双查询蒸馏用于预测动力学

实际执行需要预期，而不仅仅是对当前帧的反应。LingBot-VLA 2.0在视觉和文本令牌之后附加了两个可学习的查询。Qt针对当前观测，Qt+T针对未来观测。时间跨度T等于动作块大小。

两个教师模型监督这些查询。LingBot-Depth通过深度预测提供明确的几何线索。DINO-Video提供时间上扎根的语义先验。DINO-Video基于DINOv3骨干网络，具有逐块因果时间注意力和3D-RoPE，在500万个视频片段上训练，涵盖互联网、自我中心和机器人数据。在LARYBench评估中，DINO-Video在四项指标中的三项上领先。

基准测试结果

Robbyant在GM-100（Great March 100）双手基准测试的通用设置中评估了该模型。单个策略在每种体现的九个任务上联合训练。结果以进度/成功率报告。在AgileX Cobot Magic平台上，LingBot-VLA-2.0达到66.2/34.4，优于π0.5的59.1/32.2和LingBot-VLA-1.0的58.2/30.0。在Galaxea R1Pro上，达到34.6/15.6，优于π0.5的27.4/8.9和LingBot-VLA-1.0的32.7/15.6。在长时域移动操作任务中，在域内（ID）和域外（OOD）设置下，LingBot-VLA-2.0均优于π0.5。例如，在Astribot S1冰箱分拣任务中，ID设置下为77.1/60.0，OOD下为37.0/13.3，而π0.5分别为65.3/46.7和30.3/6.7。改进最大的是需要精确目标定位的任务。在Agilex Retrieve keychain任务中，成功率从1.0版本的60.0提升到100.0。一些任务在进度和成功率之间仍存在差距，表明在最终精确放置或释放步骤中仍存在失败。

快速入门与使用案例

代码库提供了安装、下载和部署脚本。可以通过Hugging Face下载检查点。真实机器人部署使用编译推理运行策略服务器。后训练使用LeRobot v2.1或v3.0数据集。提供的示例在RoboTwin 2.0的50个任务上进行微调。路由可以使用序列级辅助损失和z损失，或无损失设置。配置还支持Muon优化器，默认使用AdamW。

扩展的动作空间映射到具体部署场景：

• 厨房移动操作：Astribot S1将水果和饮料分拣到冰箱中，需要底座移动、开门和放置物体。
• 表面清洁：Cobot Magic-ARX X5用海绵擦洗炉灶上的泡沫，涉及抓取、擦拭和工具重定位。
• 双手包装与分拣：GM-100任务包括鸡蛋包装、工具包装和积木分拣。
• 灵巧手控制：Unitree G1、Fourier GR-2和AgiBot A2使用12自由度手部，而非夹持器。

关键要点

• LingBot-VLA 2.0在大约60,000小时数据上预训练——50,000小时20种配置的机器人轨迹加上10,000小时自我中心人类视频。
• 一个55维规范动作空间统一了手臂、末端执行器、夹持器、灵巧手、腰部、头部和移动底座，使单个模型能够控制全身。
• 动作专家采用令牌级无辅助损失MoE，在匹配活跃参数下，训练损失和验证动作误差均低于稠密模型。
• 双查询蒸馏添加了当前/未来查询，通过LingBot-Depth（几何）和DINO-Video（时间动态）监督，实现未来感知操作。
• 在GM-100通用设置中，在AgileX Cobot Magic上达到66.2/34.4，在Galaxea R1Pro上达到34.6/15.6，领先于π0.5和LingBot-VLA-1.0；在长时域移动任务中，域内和域外均优于π0.5。

有关更多详细信息，请参阅论文和模型权重。