MuJoCo-Drones-Gym:用於控制與強化學習的GPU加速多無人機模擬器
MuJoCo-Drones-Gym是一個基於MuJoCo物理引擎的開源多無人機模擬環境,支持任意數量的Crazyflie 2.x納米無人機,提供模塊化API選擇物理模型、動作接口和觀測空間,並集成PettingZoo並行環境以支持多智能體強化學習,包含七種任務場景。
機器人模擬器是空中機器人研究的重要工具,既用於開發控制算法,也為強化學習(RL)提供訓練數據。然而,現有的四旋翼學習環境在物理保真度、多智能體支持和現代深度RL流水線所需吞吐量之間存在權衡。針對這一問題,研究人員提出了MuJoCo-Drones-Gym,一個基於MuJoCo物理引擎的開源、兼容Gymnasium的多無人機模擬環境。
MuJoCo-Drones-Gym支持任意數量的Bitcraze Crazyflie 2.x納米四旋翼無人機,並提供了模塊化API。用户可以根據需求選擇物理模型,包括剛體MuJoCo模型、顯式Python動力學模型,以及地面效應、槳葉阻力和無人機間下洗流等效果的任意組合。動作接口方面,支持每電機轉速、集體歸一化推力、速度設定點或PID航點命令。觀測空間則包括運動狀態向量、RGB/深度/分割相機圖像或鄰域鄰接信息。
該環境集成了PettingZoo的ParallelEnv包裝器,可無縫用於多智能體強化學習。同時,提供了七種任務環境:懸停、速度跟蹤、多無人機懸停、航點導航、編隊飛行、門形賽道飛行和通用多智能體模板,展示了接口的廣泛適用性。論文描述了環境設計、底層物理和四旋翼動力學,並通過與gym-pybullet-drones項目類似的控制和學習示例説明了其用法,同時利用了MuJoCo改進的接觸處理、渲染和並行化能力。
MuJoCo-Drones-Gym的開源性質(代碼和數據隨論文發佈)為空中機器人研究提供了高吞吐量、高保真度的模擬平台,有望推動多無人機控制與強化學習算法的發展。