MuJoCo-Drones-Gym:用于控制与强化学习的GPU加速多无人机模拟器
MuJoCo-Drones-Gym是一个基于MuJoCo物理引擎的开源多无人机模拟环境,支持任意数量的Crazyflie 2.x纳米无人机,提供模块化API选择物理模型、动作接口和观测空间,并集成PettingZoo并行环境以支持多智能体强化学习,包含七种任务场景。
机器人模拟器是空中机器人研究的重要工具,既用于开发控制算法,也为强化学习(RL)提供训练数据。然而,现有的四旋翼学习环境在物理保真度、多智能体支持和现代深度RL流水线所需吞吐量之间存在权衡。针对这一问题,研究人员提出了MuJoCo-Drones-Gym,一个基于MuJoCo物理引擎的开源、兼容Gymnasium的多无人机模拟环境。
MuJoCo-Drones-Gym支持任意数量的Bitcraze Crazyflie 2.x纳米四旋翼无人机,并提供了模块化API。用户可以根据需求选择物理模型,包括刚体MuJoCo模型、显式Python动力学模型,以及地面效应、桨叶阻力和无人机间下洗流等效果的任意组合。动作接口方面,支持每电机转速、集体归一化推力、速度设定点或PID航点命令。观测空间则包括运动状态向量、RGB/深度/分割相机图像或邻域邻接信息。
该环境集成了PettingZoo的ParallelEnv包装器,可无缝用于多智能体强化学习。同时,提供了七种任务环境:悬停、速度跟踪、多无人机悬停、航点导航、编队飞行、门形赛道飞行和通用多智能体模板,展示了接口的广泛适用性。论文描述了环境设计、底层物理和四旋翼动力学,并通过与gym-pybullet-drones项目类似的控制和学习示例说明了其用法,同时利用了MuJoCo改进的接触处理、渲染和并行化能力。
MuJoCo-Drones-Gym的开源性质(代码和数据随论文发布)为空中机器人研究提供了高吞吐量、高保真度的模拟平台,有望推动多无人机控制与强化学习算法的发展。