开源蚂蚁：用于强化学习研究的机器人平台
本文介绍Open Ant，一个物理机器人平台，旨在弥合强化学习研究中的仿真与真实世界差距。研究显示，从零开始学习行走策略仅需约一小时，并支持Sim-to-Real迁移。硬件和软件均已开源。
强化学习（RL）研究在物理和模拟领域均取得了成功，但主流方法仍以仿真为主。这导致算法和研究者将研究成果迁移到物理现实时面临不确定性。为解决这一问题，本文作者提出了一个物理平台——Open Ant，旨在简化从仿真到实际应用的过渡。
Open Ant是常用Gymnasium Ant环境的物理变体，并配有对应的仿真环境。研究团队演示了两种截然不同的RL算法——SARSA(λ)和Soft Actor-Critic（SAC）——能够直接从物理机器人的经验中，在大约一小时内从零开始学习到行走策略。SARSA(λ)是一种基于时间差分的策略迭代方法，而SAC是一种基于最大熵的随机策略优化算法。两者在理论和实现上差异显著，但均能在Open Ant上快速学习有效的行走策略。此外，在仿真中训练的策略也能成功迁移到真实机器人上，验证了平台的Sim-to-Real能力。
平台还支持灵活的实验生态。作者观察到，来自不同背景的新用户能够快速上手并首次成功运行平台，且当出现硬件问题时，平台易于修复和更新。硬件设计采用模块化组件，如3D打印结构和标准电机，降低了定制和维修的门槛。软件方面，提供了完整的ROS 2接口和Python API，便于集成和扩展。所有硬件设计和软件均已开源发布在GitHub上，便于研究者根据自己需求进行修改。
总之，Open Ant为经常使用仿真环境的RL研究人员提供了一个便捷的途径，使他们能够更轻松地将机器人实验纳入评估体系中。该平台的发布有望加速RL算法从仿真到现实世界的转化，推动机器人学习研究的发展。