在 aerial robotics 研究中,仿真器既是开发新控制算法的试验台,也是训练强化学习策略所需数据的来源。然而,现有的四旋翼学习环境往往难以同时兼顾物理保真度、多智能体支持和现代深度强化学习流程所需的高吞吐量。针对这一矛盾,研究者 Manan Tayal 提交了一篇论文,提出了 MuJoCo-Drones-Gym——一个开源的、兼容 Gymnasium 的多无人机环境,构建在 MuJoCo 物理引擎之上,旨在为控制和强化学习研究提供高保真、可扩展且 GPU 加速的仿真平台。
MuJoCo-Drones-Gym 的核心设计是支持任意数量的 Bitcraze Crazyflie 2.x 纳米四旋翼,并暴露出一套模块化 API,让用户能够灵活选择仿真配置。首先,在物理模型方面,用户可以选择刚体 MuJoCo 动力学、显式 Python 动力学,或者启用地面效应、叶片阻力以及无人机间下洗流等空气动力学效应的任意子集。其次,动作接口支持逐电机 RPM、集体归一化推力、速度设定点和 PID 航点命令,覆盖了从低层电机控制到高层任务指令的多种控制方式。最后,观测空间可以是运动学状态向量、RGB/深度/分割相机图像,或者邻域邻接信息,便于研究基于视觉和基于状态的策略。
为了支持多智能体强化学习,该环境提供了一个 PettingZoo ParallelEnv 封装,使得现有多智能体 RL 算法可以即插即用。同时,作者配套发布了七个任务环境,包括悬停、速度跟踪、多无人机悬停、航点导航、编队飞行、穿门竞速以及一个通用的多智能体模板,展示了该接口的广泛适用性。这些任务覆盖了从单机底层控制到多机协同的高层决策,为不同研究需求提供了基准。
论文详细描述了环境设计、底层物理和四旋翼动力学,并通过控制与学习示例展示了其用法。这些示例与密切相关的 gym-pybullet-drones 项目相呼应,但充分利用了 MuJoCo 在接触处理、渲染和并行化方面的改进。该工作为多无人机强化学习研究提供了一个兼具物理保真度与计算效率的工具,有望推动 aerial robotics 领域控制算法和 RL 策略的发展。