螞蟻集團Robytant釋出LingBot-VA 2.0：為物理AI原生構建的因果影片-動作模型

螞蟻集團的具身AI部門Robytant釋出了LingBot-VA 2.0，這是一個為通用機器人操作設計的影片-動作基礎模型。研究團隊從頭開始預訓練整個堆疊以適應具身AI，而不是微調影片生成器。大多數影片-動作模型複用為數字內容建立設計的兩個元件：面向重建的VAE和雙向影片擴散骨幹，並附加動作模組。這帶來三個限制：畫素重建的潛在表示保留了外觀但缺乏物理結構；對影片令牌的迭代去噪對於閉環控制來說太慢；通用影片目標從未教會動作如何改變世界。第四個不匹配是結構性的：骨幹使用雙向注意力，而控制嚴格向前展開。LingBot-VA 1.0將該堆疊微調為因果模型，而2.0版本原生預訓練了一個因果DiT。

版本1：語義視覺-動作分詞器

基於這一動機，第一階段用語義視覺-動作分詞器取代了僅壓縮的VAE。遵循RepWAM，分詞器在重建之外增加了兩個目標：語義對齊將視覺潛在表示拉向凍結的感知編碼器教師；潛在-動作目標提取連續潛在表示之間的緊湊過渡變數。逆動力學模型預測每個潛在動作，正向動力學模型將其解碼為傳輸對映加殘差。世界狀態和動作現在共享一個潛在空間，因此無標籤的網路影片帶有動作相關的監督。

版本2：具有稀疏MoE影片流的因果DiT

在此空間之上，版本2預訓練了一個因果DiT。它保留了1.0版本的混合變換器佈局：一個影片專家和一個動作專家共享一個因果自注意力，各自擁有獨立的前饋通路。兩個流非對稱擴充套件：影片專家將其密集FFN替換為稀疏MoE路由層，該層包含128個路由SwiGLU專家，top-8路由，一個共享專家，負載平衡採用無輔助損失的Loss-Free Balancing策略。動作專家保持密集FFN，隱藏維度768。影片骨幹約13.0B引數，約1.9B活躍。加上動作專家和MCP頭，訓練覆蓋約15.3B引數，推理時每令牌約2.5B活躍。訓練使用整流流目標，結合混合Muon和AdamW最佳化器。

訓練訊號的來源

除了架構，兩個目標塑造了模型的學習內容。多塊預測（MCP）解決了短視監督問題：教師強制僅監督下一個塊，因此模型可以透過複製外觀來減少損失。MCP附加三個輕量級模組預測接下來的三個塊。在消融實驗中，它在20k步內達到了基線45k步的準確率，訓練加速2.3倍。同時，五個目標共同訓練而非分階段：T2I、T2V、TI2VA、ICL和人機共訓練。取樣遵循從粗到細的計劃，從外觀接地到影片-動作控制。保持每個目標活躍避免了遺忘早期先驗。

分層規劃

塊級控制無法排序長期目標。因此在策略之上有一個VLM規劃器，使用LoRA微調，視覺塔凍結。它輸出結構化JSON：完成、指令、生成指令、區域性場景描述。它以約2 Hz執行，位於非同步共享緩衝區之後。策略在每個塊邊界讀取它，因此規劃器延遲從不阻塞執行。

前瞻推理

即使有稀疏骨幹，部署仍遇到序列瓶頸。如果機器人等待，模型延遲成為控制延遲。因此，前瞻推理將預測和執行作為非同步流執行。當機器人執行塊a_t時，影片專家想象其結果，動作專家從中解碼a_{t+1}。但提前執行有漂移風險。因此每個返回的觀測被編碼為真實潛在z_{t+1}，覆蓋想象的那個。正向動力學接地損失訓練影片專家承擔此角色。

效能

因此，評估涵蓋模擬和真實硬體。在RoboTwin 2.0上，每個模型在50個任務上訓練2500個乾淨和25000個隨機化演示。方法包括X-VLA、π0、Motus、LingBot-VA和LingBot-VA 2.0。LingBot-VA 2.0在乾淨演示上達到93.8%，隨機化演示上93.4%，平均93.6%，優於其他方法。加速技術方面，透過一致性蒸餾、低精度編譯執行、長程注意力最佳化和執行時開銷減少，推理時間從每塊927 ms降至142 ms，非同步頻率從35 Hz提升至225 Hz。

版本1.0 vs 版本2.0

主要差異包括分詞器從Wan2.2 VAE變為語義視覺-動作分詞器（96通道），骨幹從雙向生成器微調變為從零開始預訓練的因果DiT，影片FFN從密集變為稀疏MoE（128專家，top-8），額外監督引入MCP、上下文學習和人機共訓練，推理從非同步執行KV快取變為前瞻推理加觀測重新接地，峰值非同步控制達到225 Hz。分詞器消融顯示，將WAN2.2 VAE替換為語義分詞器將1.3B模型從78.0提升至86.6。

用例與示例

除基準測試外，四個部署形態突出：少樣本上線（10-15個演示適應）、演示條件控制（上下文學習）、廉價資料縮放（人機共訓練收集65.4k集）和反應控制（如空氣曲棍球）。

關鍵要點

• 從頭開始預訓練因果影片-動作DiT，而非改編影片生成器。
• 語義分詞器將世界狀態和潛在動作對齊在同一空間。
• 稀疏MoE影片流：每令牌約2.5B活躍引數（共15.3B）。
• 前瞻推理重疊預測與執行，每次真實觀測後重新接地。
• 塊延遲從927 ms降至142 ms；非同步控制從35 Hz升至225 Hz。