Q-VGMは、フローマッチングに基づく視覚-言語-行動（VLA）ポリシーを微調整するための革新的なオフポリシー強化学習手法です。従来のポリシー勾配法では行動の尤度計算が必要ですが、フローポリシーの反復的なノイズ除去プロセスによりそれが不可能です。また、ノイズ除去チェーン全体を通じて価値を逆伝播すると、数値的不安定性が生じます。Q-VGMはVGG-Flowを導入することでこれらの問題を解決します。VGG-Flowは、価値勾配をノイズ除去時間上の価値勾配場に変換し、エンドツーエンドの逆伝播を不要にし、行動尤度も必要としません。そのため、固定リプレイバッファ上で効率的に動作します。
Q-VGMの批評家は、コンパクトなRLT特徴量に基づく行動感応型Cal-QLアンサンブルを採用し、層ごとに行動情報を注入することで行動に対する感度を高めています。トレーニングプロセスは実用的な少数ショット初期化から学習するパラダイムに従います。まず、少数ショットの教師あり微調整によりpi0.5 VLAポリシーを初期化し、その後、自己生成のロールアウトデータを活用してタスク性能を大幅に向上させます。追加の専門家監修は不要です。
実験結果は、Q-VGMが複数のベンチマークで顕著な改善を達成したことを示しています。LIBEROベンチマークでは平均成功率が75.0%から92.5%に向上し、RoboTwin 2.0では76.4%から87.2%に、2つの実ロボットテーブルトップタスクでは40.0%から67.5%に向上しました。すべての設定において、Q-VGMは同一のバックボーンと同一の批評家を使用するベースラインを上回りました。これらの結果は、フローマッチングVLAポリシーの微調整におけるQ-VGMの有効性と実用性を示しています。
本論文はZiqian Wangら5名の著者により、2026年6月6日にarXivに投稿されました（論文ID: 2606.08015）。13ページ、3図、4表から構成され、ロボティクス（cs.RO）を専門としています。この手法は、フローマッチングポリシーの強化学習微調整における長年の課題を解決し、ロボット操作タスクの性能向上に貢献することが期待されます。