本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

VLA-Precision:視覚・言語・行動モデルの効率的な実世界オンライン強化学習のための非対称コブートストラッピング

記事の要約

事前学習済みの視覚・言語・行動(VLA)モデルは幅広い操作を可能にする一方、高精度で再現性が求められるタスクでは信頼性が不十分である。VLA-Precisionは、実世界でのオンライン強化学習をVLA後訓練に適用する枠組みであり、非対称コブートストラッピング(ACoB)アルゴリズムとACoB-Streamアーキテクチャを導入する。ACoBは初期の介入誘導学習と、グローバル報酬伝播・ローカル選好ランキングによる価値推定の較正を通じて方針ドリフトを抑制する。ACoB-Streamは不変状態デカップリングとオンデマンドストリーミングにより最大10.9倍の効率向上を実現。4種類のロボット上で実施した9種類の高精度化学タスクで平均成功率98.3%、タスクあたり45.8分を達成した。

ソースarXiv Robotics著者: Chenyu Su, Zhaolong Shen, Yuan Qian, Chen Qian, Rui Zhang, Feng Yan, Weixing Chen, Fei Zhang, Jiamin Wang, Shuang Cong, Weiwei Shang
VLA-Precision:視覚・言語・行動モデルの効率的な実世界オンライン強化学習のための非対称コブートストラッピング
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

事前学習済みの視覚・言語・行動(VLA)モデルは、ロボット操作の幅広いタスクで汎用性を示す一方、高い精度と再現性が要求される作業では依然として信頼性が課題となる。Chenyu Su氏ら10名の研究チームは本論文で、実世界のオンライン強化学習(RL)をVLAの後訓練に適用するVLA-Precisionを提案する。これにより、ロボットはデモンストレーションだけに頼らず、自律的な試行錯誤を通じて行動を改善できるようになる。

提案手法は、アルゴリズム面のACoB(Asymmetric Co-Bootstrapping)とシステム面のACoB-Streamで構成される。ACoBは、訓練初期には介入誘導による行動学習を使用し、ポリシー性能を素早く向上させながら高品質なオンライン経験を収集する。自律経験が蓄積すると、グローバル報酬伝播とローカル選好ランキングによって価値推定を徐々に較正し、参照ポリシーで正則化されたポリシー改善を実現する。これにより、信頼できない価値信号が原因で生じるポリシードリフトが抑えられる。

ACoB-Streamは、大規模VLA上でACoBを動作させるためのクローズドループの経験・ポリシーアーキテクチャである。不変状態デカップリングとオンデマンドストリーミングを設計原則とし、ポリシー評価と経験生成の間の待ち時間や冗長な計算を削減する。評価では、スループットと計算効率を最大10.9倍向上できることが示された。

実験では、4種類のタスクカテゴリと4種類のロボット実体を含む9種類の高精度化学タスクが実施された。VLA-Precisionは平均成功率98.3%を達成し、タスクあたり平均45.8分で訓練が完了した。エピソード長は27.6秒で、実行速度はVLAベースラインの1.2倍、RLベースラインの1.8倍に達した。論文は17ページ・14図で構成され、2026年9月3日にarXiv(2609.04355)へ投稿された。ロボティクス(cs.RO)、人工知能(cs.AI)、ヒューマンコンピュータインタラクション(cs.HC)、機械学習(cs.LG)にわたり、関連リソースはhttps://vla-precision.github.ioで公開されている。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ACoBは時間スケールをまたぐ非対称コブートストラッピングを実現し、初期の介入誘導で方針を改善し、自律経験の蓄積後にグローバル報酬伝播とローカル選好ランキングで価値推定を較正する。
  • ACoB-Streamは不変状態デカップリングとオンデマンドストリーミングにより、スループットと計算効率を最大10.9倍向上させる。
  • 4カテゴリ・4台のロボット実体にわたる9種類の高精度化学タスクで、平均成功率98.3%、タスクあたり平均45.8分を達成した。
  • 論文は2026年9月3日にarXiv(2609.04355)へ投稿され、リソースはhttps://vla-precision.github.ioで公開されている。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。