機器人從真實世界資料中學習的策略往往存在精度不足、反應遲緩且易受擾動影響的問題。強化學習（RL）作為一種有前景的改進手段，通常需要在真實環境中進行昂貴的訓練。然而，直接在模擬中進行無約束的RL可能利用模擬與真實環境的接觸和動力學差異，導致不安全且無法遷移到硬體的策略。常見的正則化方法雖能緩解這一現象，但往往因過度約束而限制了策略的改進空間。針對這一問題，來自華盛頓大學的研究團隊提出了支援約束離域強化學習（SCORE）框架，為機器人策略的改進提供了一種全新的實到仿到實正規化。
SCORE的核心思想是：在模擬環境中，將RL的探索範圍限制在基於真實資料預訓練的生成式策略的支援集內。具體而言，研究團隊透過流轉向（flow steering）機制實現這一約束，確保最佳化後的策略僅採取基礎策略已經能夠產生的動作。這種方法在最大化策略改進的同時，保證了行為的可遷移性。值得注意的是，SCORE框架無需對基礎策略進行蒸餾或修改，且能夠從稀疏獎勵中直接學習，大大降低了應用門檻。
研究團隊在八個真實世界的靈巧多指機器人操作任務上評估了SCORE的效能。實驗結果顯示，SCORE將平均成功率從基礎策略的37.8%提升至89.9%，而最佳基線方法的成功率僅為59.5%。此外，SCORE在任務成功所需的步驟數上也比基礎策略減少了36.8%，顯著提高了操作效率。透過大量的消融實驗和分析，研究人員進一步證明，當策略最佳化受到適當約束時，模擬環境能夠有效改善真實世界的操作策略。
SCORE的提出為機器人領域帶來了重要啟示。它表明，透過合理的約束設計，模擬可以在不依賴真實世界經驗的情況下，成為策略改進的可靠平臺。研究團隊已公開了相關影片和程式碼，供學術界和工業界進一步探索和應用。這一工作不僅為靈巧操作等複雜任務提供了新的解決方案，也為實到仿到實的策略最佳化開闢了新的研究方向。