事前学習済みの視覚・言語・行動(VLA)モデルは、ロボット操作の幅広いタスクで汎用性を示す一方、高い精度と再現性が要求される作業では依然として信頼性が課題となる。Chenyu Su氏ら10名の研究チームは本論文で、実世界のオンライン強化学習(RL)をVLAの後訓練に適用するVLA-Precisionを提案する。これにより、ロボットはデモンストレーションだけに頼らず、自律的な試行錯誤を通じて行動を改善できるようになる。
提案手法は、アルゴリズム面のACoB(Asymmetric Co-Bootstrapping)とシステム面のACoB-Streamで構成される。ACoBは、訓練初期には介入誘導による行動学習を使用し、ポリシー性能を素早く向上させながら高品質なオンライン経験を収集する。自律経験が蓄積すると、グローバル報酬伝播とローカル選好ランキングによって価値推定を徐々に較正し、参照ポリシーで正則化されたポリシー改善を実現する。これにより、信頼できない価値信号が原因で生じるポリシードリフトが抑えられる。
ACoB-Streamは、大規模VLA上でACoBを動作させるためのクローズドループの経験・ポリシーアーキテクチャである。不変状態デカップリングとオンデマンドストリーミングを設計原則とし、ポリシー評価と経験生成の間の待ち時間や冗長な計算を削減する。評価では、スループットと計算効率を最大10.9倍向上できることが示された。
実験では、4種類のタスクカテゴリと4種類のロボット実体を含む9種類の高精度化学タスクが実施された。VLA-Precisionは平均成功率98.3%を達成し、タスクあたり平均45.8分で訓練が完了した。エピソード長は27.6秒で、実行速度はVLAベースラインの1.2倍、RLベースラインの1.8倍に達した。論文は17ページ・14図で構成され、2026年9月3日にarXiv(2609.04355)へ投稿された。ロボティクス(cs.RO)、人工知能(cs.AI)、ヒューマンコンピュータインタラクション(cs.HC)、機械学習(cs.LG)にわたり、関連リソースはhttps://vla-precision.github.ioで公開されている。