VEGAは、Gershom Seneviratneらによって提案された、インターネット規模の一人称視点ナビゲーション動画を利用してナビゲーション視覚-言語-行動（VLA）モデルを訓練する新しいアプローチである。これらの動画は、雑然としたシーン、近距離の障害物、自然な人間の動きなど、実世界のナビゲーションに関連する豊富な視覚観測を提供する。しかし、ロボットの座標系における明示的なナビゲーション目標に条件付けられた障害物認識軌道が含まれていないため、ポリシー学習に直接使用することはできない。
この課題を解決するため、VEGAはまず単眼動画から局所的なシーン幾何を再構成する。再構成された幾何情報に基づいて、テキスト、画像、または空間ウェイポイントとして表されるナビゲーション目標をサンプリングし、障害物を考慮した軌道を生成する。得られた軌道分布は、流れマッチングに基づくVLAナビゲーションポリシーの訓練に使用される。重要な点として、幾何情報は訓練段階でのみ使用され、推論時にはポリシーは視覚入力のみに依存する。これにより、障害物認識計画能力が視覚ベースのポリシーに直接蒸留される。
さらに、研究チームはVLAモデルのナビゲーション性能を体系的に評価するためのベンチマーク「VEGA-Bench」を導入した。このベンチマークは25万のシーンと約500万のナビゲーション目標を含み、各シーンにはシーン幾何情報が付随している。評価指標には目標進捗、衝突回避、障害物クリアランスが含まれ、複雑な環境でのナビゲーション能力を総合的に測定する。
実験の結果、VEGAはVEGA-Bench上で競争力のある目標進捗を達成しながら、最強のベースラインと比較して衝突を33.0%削減し、障害物クリアランスを17.9%改善した。実世界試験ではさらに顕著な優位性を示し、成功率が少なくとも150%向上し、衝突が少なくとも66.7%削減され、障害物クリアランスが少なくとも60.0%改善された。これらの結果は、動画から導出された幾何学的監督が、障害物認識ナビゲーションVLAの訓練にスケーラブルで効果的な信号を提供することを証明している。
本論文は2026年6月16日に提出され、ロボティクス（cs.RO）分野に属する。コードとベンチマークは論文公開時にリリースされる予定である。VEGAの核心的な革新は、幾何学的監督を利用して未ラベル動画とポリシー学習の間のギャップを埋め、ロボットナビゲーションにスケーラブルな訓練パラダイムを提供することにある。