Ant Group傘下のRobbyantは、オープンソースのVision-Language-Action（VLA）基礎モデルLingBot-VLA 2.0を発表しました。Apache-2.0ライセンスで提供され、技術レポート、コードベース、6Bパラメータのチェックポイントが含まれています。研究チームは、VLAモデルが研究室ではうまく動作するが、実運用では困難に直面するというよく知られたギャップをターゲットにしています。LingBot-VLA 2.0は、以前のバージョンから3つの実用的な軸で進化しています。それは、汎化、拡張された行動空間、予測動的モデリングです。
LingBot-VLA 2.0とは？
LingBot-VLA 2.0は、視覚言語バックボーン上に構築された汎用ロボットポリシーです。カメラ画像と言語命令をロボットのアクションに変換します。公開モデルはlingbot-vla-v2-6bで、6Bパラメータの「ネイティブ深度」チェックポイントであり、VLMバックボーンとしてQwen3-VL-4B-Instructを使用しています。2つの教師モデル、LingBot-DepthとDINO-Videoが蒸留を通じてトレーニングを監督します。1回の推論呼び出しは、NVIDIA GeForce RTX 4090D上で10のノイズ除去ステップを使用して約130ミリ秒かかります。アクションエキスパートは、容量を拡張するために混合専門家（MoE）設計を採用しています。
データパイプライン：60,000時間、20構成
汎化はデータから始まります。研究チームは約60,000時間の事前学習データをキュレーションしています。これには、50,000時間のロボット軌跡と10,000時間の自己中心視点の人間ビデオが含まれています。ロボットデータは、単腕装置から完全なヒューマノイドまで、20のロボット構成に及びます。生のプールはさらに大きく、約90,000時間のロボットデータと20,000時間の自己中心ビデオがあります。再設計されたパイプラインは、ノイズの多いサンプルをフィルタリングして高品質なセットに絞り込みます。
フィルタリングは明示的かつ測定可能です。研究チームは、エンボディメントごとに3次ジャーク、速度、加速度のZスコアを計算します。異常な滑らかさや95%以上の静的信号を持つエピソードは破棄されます。ビデオは、各ロボットのURDFを使用して再生状態と照合されます。アノテーターは、ぼやけ、オクルージョン、フレーム落ち、マルチビューの位置ずれを除去します。自己中心クリップはVLMフィルターを通過し、その後自己中心SLAMとMANO手姿勢再構成が行われます。
アノテーションは視覚言語モデルによって自動化されます。Qwen3.6-27Bが各ビデオを時間的に連続したサブタスクに分割します。各サブタスクには、18カテゴリのクローズドボキャブラリから原子アクションが割り当てられます。そのボキャブラリには、15のプリミティブアクションと、遷移、アイドル、その他が含まれます。コーパス全体では、moveとtransitが頻度の大半を占めます。
統一アクション表現
異なるロボットは異なる関節を持つため、LingBot-VLA 2.0はそれらを統合します。状態とアクションの両方に55次元の正準ベクトルを使用します。このレイアウトはデータセット内のすべてのエンボディメントで固定されています。コンポーネントの次元は次の通りです：アーム関節位置14、エンドエフェクタ姿勢14、グリッパ位置2、ハンド関節位置12、腰部位置4、ヘッド位置2、移動信号3、予備4。各アームのエンドエフェクタ姿勢はXYZ座標と回転クォータニオンを使用し、アームあたり7次元です。身体部分を欠くロボットは該当する次元をパディングするだけです。これにより、1つのモデルでアーム、ハンド、グリッパ、腰部、ヘッド、移動ベースを制御できます。
MoEアクションエキスパート
アクションエキスパートは、フィードフォワードネットワークをスパースMoE層に置き換えます。各MoE層は1つの共有エキスパートといくつかのルーティングエキスパートを保持します。トークンごとに上位K個のルーティングエキスパートのみがアクティブになるため、アクティブ計算量は制限されます。各エキスパートはより小さな中間幅を持つSwiGLU MLPです。
ルーティングは、DeepSeek-V3に触発されたシグモイドベースの補助損失フリー戦略に従います。エキスパートごとのバイアスが負荷不均衡を補正し、負荷均衡損失を追加する必要がありません。ルーティング信頼度は、モデルの元のバイアスのない親和性スコアから得られます。アクティブパラメータを一致させた場合、MoEモデルは高密度ベースラインよりも低いトレーニング損失に達し、GM-100タスクでより低い検証アクションエラーを達成します。
予測ダイナミクスのためのデュアルクエリ蒸留
実際の実行には、現在のフレームへの反応だけでなく、予測が必要です。LingBot-VLA 2.0は、視覚トークンとテキストトークンに2つの学習可能なクエリを追加します。Qtは現在の観測をターゲットとし、Qt+Tは将来の観測をターゲットとします。時間間隔Tはアクションチャンクサイズに等しいです。
2つの教師がこれらのクエリを監督します。LingBot-Depthは深度予測を通じて明示的な幾何学的手がかりを提供します。DINO-Videoは時間的に基盤化された意味的先行知識を提供します。DINO-VideoはDINOv3バックボーン上に構築され、ブロック単位の因果的時間注意と3D-RoPEを備え、インターネット、自己中心、ロボットデータをカバーする500万のビデオクリップでトレーニングされています。LARYBench評価では、DINO-Videoは4つのメトリックのうち3つでリードしています。
ベンチマーク結果
Robbyantは、GM-100（Great March 100）両腕ベンチマークの汎用設定でモデルを評価しました。単一のポリシーがエンボディメントごとに9つのタスクで共同トレーニングされます。結果は進捗スコア/成功率で報告されます。AgileX Cobot Magicプラットフォームでは、LingBot-VLA-2.0が66.2/34.4を達成し、π0.5の59.1/32.2やLingBot-VLA-1.0の58.2/30.0を上回りました。Galaxea R1Proでは、34.6/15.6を達成し、π0.5の27.4/8.9やLingBot-VLA-1.0の32.7/15.6を上回りました。長期モバイル操作タスクでは、ドメイン内（ID）とドメイン外（OOD）の両方の設定でLingBot-VLA-2.0がπ0.5を上回りました。例えば、Astribot S1の冷蔵庫仕分けタスクでは、ID設定で77.1/60.0、OODで37.0/13.3に対し、π0.5はそれぞれ65.3/46.7と30.3/6.7でした。改善が最も大きかったのは、正確なオブジェクトグラウンディングが必要なタスクでした。Agilex Retrieve keychainタスクでは、成功率がバージョン1.0の60.0から100.0に向上しました。一部のタスクでは進捗と成功率の間にギャップが見られ、最終的な正確な配置または解放ステップでの失敗を示しています。
はじめ方とユースケース
リポジトリには、インストール、ダウンロード、デプロイメントスクリプトが含まれています。Hugging Faceからチェックポイントをダウンロードできます。実ロボットへのデプロイは、コンパイル済み推論でポリシーサーバーを実行します。ポストトレーニングにはLeRobot v2.1またはv3.0データセットを使用します。提供されている例では、RoboTwin 2.0の50タスクでファインチューニングを行います。ルーティングには、シーケンスレベルの補助損失とz損失を使用するか、損失なしの設定を使用できます。構成ではMuonオプティマイザも公開されており、デフォルトはAdamWです。
拡張された行動空間は具体的なデプロイシナリオにマッピングされます：
- キッチンモバイル操作：Astribot S1が果物と飲み物を冷蔵庫に仕分け。ベース移動、ドア開閉、オブジェクト配置が必要。
- 表面清掃：Cobot Magic-ARX X5がスポンジでコンロの泡を拭き取る。把持、拭き取り、ツール再配置を連鎖。
- 両腕包装と仕分け：GM-100タスクには卵包装、工具包装、ブロック仕分けが含まれる。
- 器用ハンド制御：Unitree G1、Fourier GR-2、AgiBot A2はグリッパではなく12-DoFハンドを使用。
主なポイント
- LingBot-VLA 2.0は約60,000時間のデータ（50,000時間の20構成ロボット軌跡と10,000時間の自己中心人間ビデオ）で事前学習。
- 55次元の正準行動空間がアーム、エンドエフェクタ、グリッパ、器用ハンド、腰部、ヘッド、移動ベースを統一し、1つのモデルで全身制御を実現。
- アクションエキスパートはトークンレベルの補助損失不要MoEを使用し、アクティブパラメータを一致させた場合、高密度モデルよりも低いトレーニング損失と検証アクションエラーを達成。
- デュアルクエリ蒸留は、LingBot-Depth（幾何学）とDINO-Video（時間ダイナミクス）によって監督される現在/将来のクエリを追加し、未来を考慮した操作を可能にする。
- GM-100汎用設定で、AgileX Cobot Magicで66.2/34.4、Galaxea R1Proで34.6/15.6を達成し、π0.5とLingBot-VLA-1.0を上回る。長期モバイルタスクではドメイン内およびドメイン外の両方でπ0.5を上回る。
詳細については、論文とモデルウェイトを参照してください。