MuJoCo-Drones-Gym:用於控制與強化學習的GPU加速多無人機模擬器
MuJoCo-Drones-Gym是一個基於MuJoCo物理引擎的開源多無人機模擬環境,支援任意數量的Crazyflie 2.x奈米無人機,提供模組化API選擇物理模型、動作介面和觀測空間,並整合PettingZoo並行環境以支援多智慧體強化學習,包含七種任務場景。
機器人模擬器是空中機器人研究的重要工具,既用於開發控制演算法,也為強化學習(RL)提供訓練資料。然而,現有的四旋翼學習環境在物理保真度、多智慧體支援和現代深度RL流水線所需吞吐量之間存在權衡。針對這一問題,研究人員提出了MuJoCo-Drones-Gym,一個基於MuJoCo物理引擎的開源、相容Gymnasium的多無人機模擬環境。
MuJoCo-Drones-Gym支援任意數量的Bitcraze Crazyflie 2.x奈米四旋翼無人機,並提供了模組化API。使用者可以根據需求選擇物理模型,包括剛體MuJoCo模型、顯式Python動力學模型,以及地面效應、槳葉阻力和無人機間下洗流等效果的任意組合。動作介面方面,支援每電機轉速、集體歸一化推力、速度設定點或PID航點命令。觀測空間則包括運動狀態向量、RGB/深度/分割相機影像或鄰域鄰接資訊。
該環境整合了PettingZoo的ParallelEnv包裝器,可無縫用於多智慧體強化學習。同時,提供了七種任務環境:懸停、速度跟蹤、多無人機懸停、航點導航、編隊飛行、門形賽道飛行和通用多智慧體模板,展示了介面的廣泛適用性。論文描述了環境設計、底層物理和四旋翼動力學,並透過與gym-pybullet-drones專案類似的控制和學習示例說明了其用法,同時利用了MuJoCo改進的接觸處理、渲染和並行化能力。
MuJoCo-Drones-Gym的開源性質(程式碼和資料隨論文釋出)為空中機器人研究提供了高吞吐量、高保真度的模擬平臺,有望推動多無人機控制與強化學習演算法的發展。