机器人操作策略如果只依赖真实世界数据训练，往往表现得不够精确、速度偏慢，而且面对扰动时容易失效。用强化学习进一步提升这类策略看起来是一条可行路径，但传统的 RL 微调通常需要在真实硬件上进行大量、昂贵的试错训练。另一种更廉价的方案是把策略改进搬到仿真环境中完成，然而在仿真里进行无约束的 RL 会利用接触模型与动力学建模之间的偏差，学到一些在仿真中得分很高、却在真实硬件上不安全甚至无法迁移的行为。与此同时，常见的正则化手段虽然能抑制这种偏移，却又常常把策略过度约束在一个并不完美的行为先验上，从而限制了性能提升的上限。
针对这一矛盾，Raymond Yu 等五位作者（论文于 2026 年 6 月 25 日提交至 arXiv，编号 2606.27475，属于 cs.RO，交叉 cs.LG，共 35 页、23 幅图）提出了名为 SCORE 的方法，即 Support-Constrained Off-Domain REinforcement（支撑集约束的离域强化学习）。它是一个 real-to-sim-to-real（真实—仿真—真实）框架：先在真实数据上预训练一个生成式策略，然后在仿真中对它做 RL 优化，但把优化范围严格限制在该基础策略的支撑集（support）之内。
作者通过“flow steering”（流引导）来具体实现这一约束，使 SCORE 只能选择基础策略本身已经能够产生的动作。这样做的直觉是：只要动作落在基础策略的可达分布之内，学到的行为就更有可能迁移回真实硬件，同时又能在这个安全范围内尽可能放大策略改进的幅度。SCORE 的使用门槛很低：它只需要稀疏奖励即可学习，不需要蒸馏步骤，而且完全不改动基础策略本身，因此可以看作是在已有策略之上叠加的一层改进机制。
实验在八个真实世界的灵巧多指机器人操作任务上展开。结果显示，SCORE 将平均成功率从基础策略的 37.8% 提升到 89.9%，而表现最好的基线方法仅为 59.5%；同时，它达到成功所需的步数比基础策略少 36.8%。作者还进行了大量实验与消融研究，用以说明约束方式的选择对最终效果的关键作用。
论文的核心结论是：当策略优化被恰当地约束时，仿真能够显著提升真实世界的操作策略，这为 real-to-sim-to-real 的策略改进提供了一种新的范式。作者同时公开了视频与代码，项目页面为 https://weirdlabuw.github.io/score/。需要指出的是，这些结论建立在八个任务之上，其向其他机器人平台、任务类型与传感配置的泛化能力仍有待进一步验证。