強化学習（RL）において、フローマッチングや拡散ポリシーは表現力豊かな行動生成器として注目されているが、時間差分（TD）強化学習でそれらを最適化するのは依然として困難である。効果的なポリシー抽出にはクリティックの行動勾配を活用する必要があるが、多段階のデノイジングプロセスを通じてこの信号を直接逆伝播すると、数値的に不安定になる可能性がある。既存の手法は、勾配情報を捨てるか、ポリシーをより単純なワンステップのアクターに蒸留するか、クリティックが改善するたびにデノイジングポリシーを繰り返し微調整することでこの問題を回避している。
この問題に対処するため、Yifan RuanらはQPILOTSを提案した。これは、元のポリシーを変更せずに推論時にデノイジングプロセスをステアリングする手法である。QPILOTSの中心的なアイデアは、各デノイジングステップで、ノイズの多い中間アクション上でクリティックを評価する代わりに（そこではクリティックの予測が信頼できない）、まずその中間状態を最終的なクリーンなアクションの推定値に投影し、そこでクリティック勾配を計算する。これにより、多段階デノイジングを通じた逆伝播の不安定性を回避しつつ、クリティックのガイダンス信号を利用できる。
QPILOTSには2つの変種がある。QPILOTS-Uは高速な単一点近似を使用し、計算効率が高い。QPILOTS-Mは学習された補助ネットワークを介して微分可能な事後サンプルを抽出し、より正確な勾配推定を提供する可能性がある。両変種とも、計算効率とステアリング効果のバランスを目指している。
標準的なオフライン・ツー・オンライン強化学習ベンチマークにおいて、QPILOTSは最高の総合性能を達成し、50のタスクで平均成功率90%に達した。これは、この手法がさまざまなタスクに対して堅牢で効果的であることを示している。さらに著者らは、QPILOTSを大規模で凍結された事前学習済み視覚言語行動（VLA）基盤モデルのステアリングに適用した。シミュレーション環境での6つの操作タスクにおいて、QPILOTSは以前の推論時アプローチを上回るか同等の性能を示し、最先端の基盤モデルへの適用性と汎化能力を実証した。
この論文（arXiv:2606.14801）は10ページ、7つの図を含み、機械学習、人工知能、ロボティクスなどのトピックを扱っている。QPILOTSの提案は、推論時にフローポリシーを効率的にステアリングする新しいアプローチを提供し、従来の手法における数値的不安定性の問題を回避するとともに、複雑なタスクにおける可能性を示している。