流匹配与扩散策略是表达力很强的动作生成器，但用时序差分强化学习（RL）对其进行优化仍然相当困难。要有效地从策略中提取动作，需要利用评论家网络（critic）提供的动作梯度，然而把这一信号直接通过多步去噪过程反向传播，往往会出现数值不稳定的问题。现有的做法各有取舍：有的直接丢弃梯度信息，有的把策略蒸馏成更简单的一步演员网络，还有的在评论家不断改进的过程中反复微调去噪策略。这些绕行方案要么牺牲了梯度中蕴含的信息，要么带来了额外的训练开销与工程复杂度。
针对这一难题，来自 arXiv 的论文《QPILOTS: Efficient Test-Time Q-Steering for Flow Policies》提出了一种不同的思路。该方法由 Yifan Ruan 等十位作者于 2026 年 6 月 11 日提交，论文共 10 页、含 7 幅图，归入机器学习（cs.LG）分类，并交叉涉及人工智能（cs.AI）与机器人学（cs.RO）。QPILOTS 的核心主张是保持原始策略完全不变，只在推理阶段对去噪过程进行引导，从而避免了对策略本身的重新训练。
具体而言，QPILOTS 在每个去噪步骤中并不直接在带噪的中间动作上评估评论家——因为此时评论家的预测并不可靠——而是先把该中间状态投影为对最终干净动作的估计，再在这个估计上计算评论家梯度，并用它来引导去噪方向。为了适应不同场景，作者给出了两个变体：QPILOTS-U 采用快速的单点近似，计算开销较小；QPILOTS-M 则通过一个学习得到的辅助网络抽取可微分的后验样本，以获得更精细的引导信号。
在标准的离线到在线强化学习基准上，QPILOTS 取得了最佳的综合表现，在 50 个任务上的平均成功率达到了 90%。此外，作者还把 QPILOTS 用于引导一个大型、冻结的预训练视觉-语言-动作（VLA）基础模型，在仿真环境中的六项操作任务上，其表现超越或匹配了此前的推理阶段方法。这表明该方法不仅能用于从头训练的策略，也能作为一种即插即用的推理期增强手段，用于已经部署的大型基础模型，而无需改动其权重。
从意义上看，这项工作为扩散与流匹配策略的强化学习微调提供了一条低侵入路径：它绕开了多步去噪反向传播的数值稳定性难题，也避免了对策略网络的反复重训，同时保留了对评论家梯度的利用。对于机器人操作等需要高表达力动作生成的应用而言，这种在推理时进行引导的方式有望降低训练成本，并让冻结的通用 VLA 模型通过轻量级引导获得更好的任务表现。论文的完整内容、PDF 与实验性 HTML 版本均可在 arXiv 上获取。