アントグループのRobbyant、LingBot-VA 2.0を発表：物理AI向けにネイティブ構築された因果ビデオアクションモデル

アントグループの身体性AI部門Robbyantは、LingBot-VA 2.0をリリースしました。これは汎用ロボット操作のためのビデオアクションファウンデーションモデルです。研究チームは、ビデオジェネレーターをファインチューニングするのではなく、身体性AI向けにスタック全体をスクラッチからプレトレーニングしました。

ほとんどのビデオアクションモデルは、デジタルコンテンツ作成用に設計された2つのコンポーネントを再利用しています。再構成指向のVAEと、双方向ビデオ拡散バックボーンにアクションモジュールを追加したものです。これには3つの制限があります。ピクセル再構成の潜在表現は外観を保持しますが、物理構造に欠けます。ビデオトークンに対する反復的デノイジングは閉ループ制御には遅すぎます。汎用ビデオ目的関数は、アクションが世界をどのように変えるかを教えません。4つ目の不一致は構造的です。バックボーンは双方向アテンションを使用しますが、制御は時間的に厳密に前方に展開します。LingBot-VA 1.0はそのスタックを因果モデルにファインチューニングしましたが、バージョン2.0は因果DiTをネイティブにプレトレーニングします。

バージョン1：意味的ビジュアルアクショントークナイザー

この動機に基づき、第1段階では圧縮専用のVAEを意味的ビジュアルアクショントークナイザーに置き換えます。RepWAMに従い、トークナイザーは再構成に2つの目的を追加します。意味的アライメントは視覚的潜在表現を凍結された知覚エンコーダ教師に引き寄せます。潜在アクション目的は、連続する潜在表現間のコンパクトな遷移変数を抽出します。逆ダイナミクスモデルは各潜在アクションを予測し、順ダイナミクスモデルはそれをトランスポートマップと残差にデコードします。世界状態とアクションは同じ潜在空間を共有するため、ラベルなしのウェブビデオにはアクション関連の監視が含まれます。

バージョン2：スパースMoEビデオストリームを備えた因果DiT

この空間の上に、バージョン2は因果DiTをプレトレーニングします。バージョン1.0のMixture-of-Transformersレイアウトを維持します。ビデオエキスパートとアクションエキスパートは1つの因果セルフアテンションを共有し、それぞれ独立したフィードフォワード経路を持ちます。2つのストリームは非対称にスケールします。ビデオエキスパートは密なFFNをスパースMoEルーティング層に置き換えます。この層は128個のルーティングSwiGLUエキスパート、top-8ルーティング、1つの共有エキスパートを持ち、負荷分散は補助損失なしのLoss-Free Balancing戦略に従います。アクションエキスパートは隠れ次元768の密なFFNを維持します。ビデオバックボーンは約13.0Bパラメータ、アクティブは約1.9Bです。アクションエキスパートとMCPヘッドを含めると、トレーニングは約15.3Bパラメータをカバーし、推論時にはトークンあたり約2.5Bがアクティブになります。トレーニングには、ハイブリッドMuonとAdamWオプティマイザーを組み合わせた整流流目的関数を使用します。

トレーニング信号の源泉

アーキテクチャに加えて、2つの目的がモデルの学習内容を形作ります。マルチチャンク予測（MCP）は近視眼的な監視を修正します。教師強制は次のチャンクのみを監視するため、モデルは外観をコピーすることで損失を減らせます。MCPは次の3つのチャンクを予測する3つの軽量モジュールを追加します。アブレーションでは、20kステップでベースラインの45kステップの精度に達し、トレーニング速度が2.3倍向上しました。同時に、5つの目的（T2I、T2V、TI2VA、ICL、人間ロボット共訓練）が段階的ではなく同時訓練されます。サンプリングは粗から細へのスケジュールに従い、外観接地からビデオアクション制御に進みます。すべての目的をアクティブに保つことで、初期の事前知識を忘れることを防ぎます。

階層的計画

チャンクレベルの制御では長期目標を順序付けできません。そのため、ポリシーの上にVLMプランナーがあり、LoRAでファインチューニングされ、視覚タワーは凍結されています。これは構造化JSON（完了、命令、生成命令、ローカルシーン記述）を出力します。約2 Hzで動作し、非同期共有バッファの背後にあります。ポリシーは各チャンク境界でそれを読み取るため、プランナーの遅延が実行をブロックすることはありません。

先見推論

スパースバックボーンでも、デプロイメントはシリアルボトルネックに直面します。ロボットが待機すると、モデル遅延が制御遅延になります。そのため、先見推論は予測と実行を非同期ストリームとして実行します。ロボットがチャンクa_tを実行している間に、ビデオエキスパートがその結果を想像し、アクションエキスパートがそこからa_{t+1}をデコードします。先走りはドリフトのリスクがあります。そのため、各戻り観測はエンコードされて真の潜在z_{t+1}になり、想像されたものを上書きします。順ダイナミクス接地損失はビデオエキスパートをこの役割のために訓練します。

パフォーマンス

評価はシミュレーションと実ハードウェアをカバーします。RoboTwin 2.0では、各モデルは50タスクにわたって2,500のクリーンおよび25,000のランダム化デモンストレーションで訓練されます。手法にはX-VLA、π0、Motus、LingBot-VA、LingBot-VA 2.0が含まれます。LingBot-VA 2.0はクリーンデモで93.8%、ランダム化デモで93.4%、平均93.6%を達成し、他の手法を上回りました。高速化技術により、一貫性蒸留、低精度コンパイル実行、長距離アテンション最適化、ランタイムオーバーヘッド削減を通じて、推論時間はチャンクあたり927 msから142 msに減少し、非同期周波数は35 Hzから225 Hzに向上しました。

バージョン1.0 vs バージョン2.0

主な違いは、トークナイザーがWan2.2 VAEから意味的ビジュアルアクショントークナイザー（96チャネル）に変わったこと、バックボーンが双方向生成器からのファインチューニングからスクラッチからの因果DiTプレトレーニングに変わったこと、ビデオFFNが密からスパースMoE（128エキスパート、top-8）に変わったこと、追加の監視としてMCP、インコンテキスト学習、人間ロボット共訓練が導入されたこと、推論が非同期実行KVキャッシュから先見推論と観測再接地に変わったこと、ピーク非同期制御が225 Hzに達したことです。トークナイザーのアブレーションでは、WAN2.2 VAEを意味的トークナイザーに置き換えることで、1.3Bモデルが78.0から86.6に向上しました。

ユースケースと例

ベンチマーク以外にも、4つのデプロイメント形態が際立ちます。少ショットオンライン（10〜15のデモで適応）、デモ条件制御（インコンテキスト学習）、安価なデータスケーリング（人間ロボット共訓練で65.4kエピソード収集）、反応制御（エアホッケーなど）です。

重要なポイント

• ビデオジェネレーターを適応させるのではなく、因果ビデオアクションDiTをスクラッチからプレトレーニング。
• 意味的トークナイザーが世界状態と潜在アクションを同じ空間に整列。
• スパースMoEビデオストリーム：トークンあたり約2.5Bアクティブ（合計15.3B）。
• 先見推論が予測と実行を重ね、各実際の観測で再接地。
• チャンクレイテンシーが927 msから142 msに、非同期制御が35 Hzから225 Hzに。