FlowPRO 是一个面向流匹配视觉-语言-动作（VLA）模型的无奖励离线强化微调框架，由 Yihao Wu 等五位作者完成，于 2026 年 6 月 3 日提交至 arXiv，编号为 2606.05468，归类于机器人学（cs.RO）方向。该论文关注的核心问题是：如何把 VLA 模型后训练成可以在真实机器人上可靠部署的策略，这仍是当前领域的一大瓶颈。
作者指出，现有方法各有局限。监督微调（SFT）和 DAgger 只能间接利用失败信号，而基于奖励的强化学习则受制于两方面的现实困难：一是真实世界中的奖励函数设计难度很高，二是训练可靠的评论家（critic）网络同样不易。FlowPRO 正是针对这一困境提出的替代方案——它不需要显式奖励，而是在离线数据上进行强化式微调。
算法层面，论文提出了 RPRO，即“机器人流匹配近端化偏好优化”。这是一种专为 VLA 模型的流匹配动作头量身定制的偏好优化目标。RPRO 将对比优化器与一个显式的近端正则项相结合，后者用于锚定隐式奖励的绝对幅度，从而消除普通 Flow-DPO 中容易出现的奖励黑客（reward hacking）失效模式。论文通过消融实验确认了每个损失分量的贡献。
数据层面，作者设计了一种遥操作式的“干预与回滚”范式：仅凭操作员的单次动作，就能在真实机器人上自然生成成对的正负轨迹（τ^w, τ^l）。随后，一种平滑插值（Smooth Interpolation）方法配合批次混合策略，把这些稀疏的纠正信号转化为逐状态的密集监督，同时保持基础策略原有的能力不被破坏。
实验方面，研究团队在四个长时程双臂任务上评估 FlowPRO。结果显示，该方法取得了最高的成功率，优于四个具有代表性的基线方法。此外，消融实验验证了各损失组件的必要性。
从更广的意义上看，这项工作尝试绕开奖励建模与评论家训练这两大现实障碍，把偏好优化直接迁移到流匹配动作生成架构上，并配套设计了一套低成本、可在真实机器人上采集纠正数据的人工操作流程。论文全文可通过 arXiv 获取 PDF、实验性 HTML 版本及 TeX 源码，DOI 由 DataCite 分配（登记待完成）。提交记录显示，v1 版本于 2026 年 6 月 3 日 21:47:43 UTC 上传，文件大小约 6,828 KB。