視覚-言語-行動（VLA）モデルを実ロボットに確実に展開できるポリシーへとポストトレーニングすることは、依然としてロボティクス分野の主要なボトルネックである。従来の教師ありファインチューニング（SFT）やDAggerは失敗信号を間接的にしか利用できず、報酬ベースの強化学習（RL）は実世界の報酬設計の難しさや信頼できるクリティックの訓練の困難さに直面している。そこで本研究では、フローマッチングVLAモデルのための報酬不要のオフライン強化学習ファインチューニングフレームワークであるFlowPROを提案する。
アルゴリズム面では、RPRO（Robotic Flow-matching Proximalized Preference Optimization）を導入する。これはVLAモデルのフローマッチング行動ヘッドに特化した選好最適化目標である。RPROは対比最適化器と明示的な近接正則化器を組み合わせ、後者によって暗黙的報酬の絶対的な大きさを固定する。これにより、通常のFlow-DPOに見られる報酬ハッキングの失敗モードを排除する。この設計により、外部報酬信号に依存せず、選好データから効果的に学習できる。
データ面では、遠隔操作による介入とロールバックのパラダイムを採用する。単一の操作者アクションから、実ロボット上で自然にペアとなる正の軌道と負の軌道（τ^w, τ^l）を生成する。次に、平滑補間手順とバッチ混合を組み合わせることで、これらの疎な修正を密な状態ごとの監督信号に変換し、ベースポリシーの能力を保持する。このデータ生成方法は効率的で、操作者の介入情報を最大限に活用する。
実験では、4つの長期間両腕タスクでFlowPROを評価した。結果として、FlowPROは最高の成功率を達成し、4つの代表的なベースライン手法を上回った。アブレーション実験は各損失成分の寄与をさらに確認し、RPROにおける対比最適化器と近接正則化器の有効性を検証した。本研究は、報酬設計を必要としないVLAモデルの実ロボットへのポストトレーニングに新たな道を開き、複雑な操作タスクにおける可能性を示すものである。