蚂蚁集团Robytant发布LingBot-VA 2.0：为物理AI原生构建的因果视频-动作模型

蚂蚁集团的具身AI部门Robytant发布了LingBot-VA 2.0，这是一个为通用机器人操作设计的视频-动作基础模型。研究团队从头开始预训练整个堆栈以适应具身AI，而不是微调视频生成器。大多数视频-动作模型复用为数字内容创建设计的两个组件：面向重建的VAE和双向视频扩散骨干，并附加动作模块。这带来三个限制：像素重建的潜在表示保留了外观但缺乏物理结构；对视频令牌的迭代去噪对于闭环控制来说太慢；通用视频目标从未教会动作如何改变世界。第四个不匹配是结构性的：骨干使用双向注意力，而控制严格向前展开。LingBot-VA 1.0将该堆栈微调为因果模型，而2.0版本原生预训练了一个因果DiT。

版本1：语义视觉-动作分词器

基于这一动机，第一阶段用语义视觉-动作分词器取代了仅压缩的VAE。遵循RepWAM，分词器在重建之外增加了两个目标：语义对齐将视觉潜在表示拉向冻结的感知编码器教师；潜在-动作目标提取连续潜在表示之间的紧凑过渡变量。逆动力学模型预测每个潜在动作，正向动力学模型将其解码为传输映射加残差。世界状态和动作现在共享一个潜在空间，因此无标签的网络视频带有动作相关的监督。

版本2：具有稀疏MoE视频流的因果DiT

在此空间之上，版本2预训练了一个因果DiT。它保留了1.0版本的混合变换器布局：一个视频专家和一个动作专家共享一个因果自注意力，各自拥有独立的前馈通路。两个流非对称扩展：视频专家将其密集FFN替换为稀疏MoE路由层，该层包含128个路由SwiGLU专家，top-8路由，一个共享专家，负载平衡采用无辅助损失的Loss-Free Balancing策略。动作专家保持密集FFN，隐藏维度768。视频骨干约13.0B参数，约1.9B活跃。加上动作专家和MCP头，训练覆盖约15.3B参数，推理时每令牌约2.5B活跃。训练使用整流流目标，结合混合Muon和AdamW优化器。

训练信号的来源

除了架构，两个目标塑造了模型的学习内容。多块预测（MCP）解决了短视监督问题：教师强制仅监督下一个块，因此模型可以通过复制外观来减少损失。MCP附加三个轻量级模块预测接下来的三个块。在消融实验中，它在20k步内达到了基线45k步的准确率，训练加速2.3倍。同时，五个目标共同训练而非分阶段：T2I、T2V、TI2VA、ICL和人机共训练。采样遵循从粗到细的计划，从外观接地到视频-动作控制。保持每个目标活跃避免了遗忘早期先验。

分层规划

块级控制无法排序长期目标。因此在策略之上有一个VLM规划器，使用LoRA微调，视觉塔冻结。它输出结构化JSON：完成、指令、生成指令、局部场景描述。它以约2 Hz运行，位于异步共享缓冲区之后。策略在每个块边界读取它，因此规划器延迟从不阻塞执行。

前瞻推理

即使有稀疏骨干，部署仍遇到串行瓶颈。如果机器人等待，模型延迟成为控制延迟。因此，前瞻推理将预测和执行作为异步流运行。当机器人执行块a_t时，视频专家想象其结果，动作专家从中解码a_{t+1}。但提前运行有漂移风险。因此每个返回的观测被编码为真实潜在z_{t+1}，覆盖想象的那个。正向动力学接地损失训练视频专家承担此角色。

性能

因此，评估涵盖仿真和真实硬件。在RoboTwin 2.0上，每个模型在50个任务上训练2500个干净和25000个随机化演示。方法包括X-VLA、π0、Motus、LingBot-VA和LingBot-VA 2.0。LingBot-VA 2.0在干净演示上达到93.8%，随机化演示上93.4%，平均93.6%，优于其他方法。加速技术方面，通过一致性蒸馏、低精度编译执行、长程注意力优化和运行时开销减少，推理时间从每块927 ms降至142 ms，异步频率从35 Hz提升至225 Hz。

版本1.0 vs 版本2.0

主要差异包括分词器从Wan2.2 VAE变为语义视觉-动作分词器（96通道），骨干从双向生成器微调变为从零开始预训练的因果DiT，视频FFN从密集变为稀疏MoE（128专家，top-8），额外监督引入MCP、上下文学习和人机共训练，推理从异步执行KV缓存变为前瞻推理加观测重新接地，峰值异步控制达到225 Hz。分词器消融显示，将WAN2.2 VAE替换为语义分词器将1.3B模型从78.0提升至86.6。

用例与示例

除基准测试外，四个部署形态突出：少样本上线（10-15个演示适应）、演示条件控制（上下文学习）、廉价数据缩放（人机共训练收集65.4k集）和反应控制（如空气曲棍球）。

关键要点

• 从头开始预训练因果视频-动作DiT，而非改编视频生成器。
• 语义分词器将世界状态和潜在动作对齐在同一空间。
• 稀疏MoE视频流：每令牌约2.5B活跃参数（共15.3B）。
• 前瞻推理重叠预测与执行，每次真实观测后重新接地。
• 块延迟从927 ms降至142 ms；异步控制从35 Hz升至225 Hz。