好事过多？当 sim2real 阻碍策略学习时（以及如何应对）
本文指出，虽然 sim2real 对策略迁移到硬件至关重要，但过度依赖会导致激励偏差、模拟器锁定和策略探索不足。作者提出一种新的 sim2sim2real 范式，以机器人运动学为唯一设计约束，作为潜在解决方案。
在机器人领域，sim2real（从仿真到现实）技术是策略迁移到硬件的关键环节。然而，来自 arXiv 的一篇新论文指出，过度依赖 sim2real 可能适得其反，反而阻碍了策略学习的进展。该研究由 Kyle Morgenstein 等人撰写，于 2026 年 5 月 30 日提交，深入分析了当前 sim2real 实践中的问题，并提出了一种新的解决思路：sim2sim2real 范式。
论文认为，sim2real 的努力导致了与策略学习激励的错位。具体而言，为了匹配现实世界的物理约束，仿真环境往往施加了过于严格的限制，这使算法容易陷入模拟器锁定的困境——即策略在仿真中表现良好，但无法有效泛化到未见过的情况，因为探索空间被人为压缩。这种“好事过多”的状态实际上抑制了策略的创新和鲁棒性。
作为替代方案，作者提出了 sim2sim2real 范式，其中机器人的运动学成为唯一的设计约束。通过先从仿真到仿真（sim2sim）的步骤，在更加灵活的环境中学习策略，再迁移到现实，有望缓解对真实世界限制的过度依赖，促进更广泛的策略探索。这一方法为机器人学习和控制领域提供了新的研究方向。
论文的完整内容可在 arXiv 上获取，提交 ID 为 2606.02636，涉及机器人学（cs.RO）和人工智能（cs.AI）领域。该研究由 Kyle Morgenstein 与其他两位合作者共同完成，论文摘要指出，虽然 sim2real 工作对于有效的策略迁移到硬件是必要的，但好事过多反而有害。他们诊断并解释了当前问题的现状，并提议通过一种 sim2sim2real 范式作为潜在解决方案，该范式利用机器人的运动学作为唯一设计约束。这一创新思路有望解决长期以来困扰机器人学习领域的模拟器锁定问题，为未来更高效、更鲁棒的策略学习开辟新途径。