実世界データで訓練されたロボットポリシーは、不正確で遅く、摂動に脆弱になりがちである。強化学習（RL）でこれらのポリシーを改善することは魅力的な代替手段だが、そのプロセスはしばしば実世界での高コストな訓練を必要とする。代わりにシミュレーションでポリシー改善を行えばはるかに安価だが、シミュレーションにおける無制約の RL は接触やダイナミクスの不一致を悪用し、ハードウェアに転送されない危険な行動を引き起こす可能性がある。また、一般的な正則化手法は不完全な行動事前分布に過度に制約することで改善を制限してしまう。
この問題に対処するため、Raymond Yu らは Support-Constrained Off-Domain REinforcement（SCORE）を提案した。これは実世界からシミュレーション、そして実世界へ戻るフレームワークであり、シミュレーション内の RL を実データで事前学習された生成ポリシーのサポート（そのポリシーが生成可能な行動集合）に制約する。研究チームはフロー誘導（flow steering）を通じてこの制約を実現し、SCORE をベースポリシーがすでに生み出せる行動に限定することで、転送可能な行動を保証しつつポリシー改善を最大化する。
SCORE によるポリシー改善は最小限の労力で済む。スパース報酬から学習し、蒸留を必要とせず、ベースポリシーを変更しない。8つの実世界多指巧緻ロボット操作タスクにおいて、SCORE は平均成功率を37.8%から89.9%へ向上させた。これは最良のベースライン手法の59.5%を大きく上回る。また、ベースポリシーと比較して36.8%少ないステップで成功に到達する。
大規模な実験とアブレーションを通じて、著者らはポリシー最適化が適切に制約されていれば、シミュレーションが実世界の操作ポリシーを大幅に改善できることを示し、実世界からシミュレーション、そして実世界へ戻るポリシー改善の新たなパラダイムを提示した。論文は35ページ、23図からなり、コードとビデオはプロジェクトページで公開されている。