Agentic-VLA: 視覚・言語・行動モデルのための効率的なオンライン適応

視覚・言語・行動（VLA）モデルは、事前学習された視覚・言語表現を活用することで、ロボット操作における有望なパラダイムとして登場しました。しかし、現在のVLAトレーニング手法には、新しい環境への汎化が不十分であることと、多くのデモンストレーションを必要とする低いトレーニング効率という2つの重大な限界があります。この課題に対処するため、Ruofan Jin氏とZaixi Zhang氏によって提案されたAgentic-VLAは、VLAが展開中に効率的にオンライン適応できるようにするエージェント型トレーニングフレームワークです。本論文は2026年5月21日にarXivに提出され、注目を集めています。

Agentic-VLAは3つの主要な革新に基づいています。第一に、適応的報酬合成（Adaptive Reward Synthesis）は、VLAの現在の能力とタスクの複雑さに基づいて報酬関数を動的に生成・調整し、複雑なタスクを学習可能なサブゴールに分解してカリキュラム学習を実現します。これにより、モデルは単純なサブタスクから始めて徐々に複雑なタスクへと学習を進めることができ、学習効率が大幅に向上します。第二に、言語誘導探索（Language-Guided Exploration）は、批評モデルが構造化されたガイダンスを提供し、ランダムサンプリングではなく系統的な探索を可能にします。批評モデルは現在の状態とタスク記述に基づいて、どの動作が価値があるかを提案し、探索方向を絞り込むことで無駄な試行を避けます。第三に、経験記憶（Experience Memory）は、タスク関連のポリシー重みを保存・検索し、類似タスクへの適応をウォームスタートで高速化します。新しいタスクに遭遇した際、システムは以前に学習した関連経験を迅速に呼び出し、ゼロからのトレーニングの必要性を大幅に削減します。

LIBEROベンチマークでの評価により、Agentic-VLAの顕著な改善が示されました：長期的タスクで+12.3%、1ショット学習で+28.5%、タスク固有のデモンストレーションなしでのクロスタスク転送が0%から31.2%に向上しました。これらの結果は、Agentic-VLAが学習速度を向上させるだけでなく、ゼロショットのクロスタスク汎化も実現することを証明しています。また、既存のオンライン適応手法と比較して2.4倍の収束速度の高速化を達成しており、同じ性能に達するために必要なインタラクションステップ数が大幅に減少しています。LIBEROに加えて、Agentic-VLAはデュアルアームRoboTwin 2.0ベンチマーク（ランダム化されたHard設定を含む）でも優位性を維持し、より複雑なシナリオにおける有効性を検証しました。これらの結果は、Agentic-VLAが展開中の継続学習が可能な真に適応的なVLAシステムへの重要な一歩であることを示しています。本研究成果はロボット学習分野に新たな道を開き、VLAモデルの実世界応用を推進することが期待されます。