好事過多？當 sim2real 阻礙策略學習時（以及如何應對）
本文指出，雖然 sim2real 對策略遷移到硬體至關重要，但過度依賴會導致激勵偏差、模擬器鎖定和策略探索不足。作者提出一種新的 sim2sim2real 正規化，以機器人運動學為唯一設計約束，作為潛在解決方案。
在機器人領域，sim2real（從模擬到現實）技術是策略遷移到硬體的關鍵環節。然而，來自 arXiv 的一篇新論文指出，過度依賴 sim2real 可能適得其反，反而阻礙了策略學習的進展。該研究由 Kyle Morgenstein 等人撰寫，於 2026 年 5 月 30 日提交，深入分析了當前 sim2real 實踐中的問題，並提出了一種新的解決思路：sim2sim2real 正規化。
論文認為，sim2real 的努力導致了與策略學習激勵的錯位。具體而言，為了匹配現實世界的物理約束，模擬環境往往施加了過於嚴格的限制，這使演算法容易陷入模擬器鎖定的困境——即策略在模擬中表現良好，但無法有效泛化到未見過的情況，因為探索空間被人為壓縮。這種“好事過多”的狀態實際上抑制了策略的創新和魯棒性。
作為替代方案，作者提出了 sim2sim2real 正規化，其中機器人的運動學成為唯一的設計約束。透過先從模擬到模擬（sim2sim）的步驟，在更加靈活的環境中學習策略，再遷移到現實，有望緩解對真實世界限制的過度依賴，促進更廣泛的策略探索。這一方法為機器人學習和控制領域提供了新的研究方向。
論文的完整內容可在 arXiv 上獲取，提交 ID 為 2606.02636，涉及機器人學（cs.RO）和人工智慧（cs.AI）領域。該研究由 Kyle Morgenstein 與其他兩位合作者共同完成，論文摘要指出，雖然 sim2real 工作對於有效的策略遷移到硬體是必要的，但好事過多反而有害。他們診斷並解釋了當前問題的現狀，並提議透過一種 sim2sim2real 正規化作為潛在解決方案，該正規化利用機器人的運動學作為唯一設計約束。這一創新思路有望解決長期以來困擾機器人學習領域的模擬器鎖定問題，為未來更高效、更魯棒的策略學習開闢新途徑。