MuJoCo-Drones-Gym：制御と強化学習のためのGPU加速マルチドローンシミュレータ
MuJoCo-Drones-Gymは、MuJoCo物理エンジンに基づくオープンソースのマルチドローン環境です。任意数のCrazyflie 2.xナノクアッドコプターをサポートし、物理モデル、アクションインターフェース、観測空間を選択できるモジュラーAPIを備え、PettingZooラッパーによるマルチエージェント強化学習と7つのタスク環境を提供します。
ロボットシミュレータは空中ロボティクス研究の基盤であり、制御アルゴリズムの開発と強化学習（RL）ポリシーの訓練データ源として機能します。しかし、既存のクアッドコプター学習環境は、物理的忠実度、マルチエージェントサポート、そして現代の深層RLパイプラインに必要なスループットの間でトレードオフを抱えていました。この課題に対処するため、研究者らはMuJoCo-Drones-Gymを提案しました。これは、MuJoCo物理エンジン上に構築されたオープンソースのGymnasium互換マルチドローン環境です。
MuJoCo-Drones-Gymは、任意の数のBitcraze Crazyflie 2.xナノクアッドコプターをサポートし、モジュラーAPIを提供します。物理モデルは、剛体MuJoCoモデル、明示的Python動力学モデル、および地面効果、ブレード抗力、ドローン間ダウンウォッシュの任意の組み合わせから選択できます。アクションインターフェースは、モーター毎のRPM、集団正規化推力、速度設定点、PIDウェイポイントコマンドに対応します。観測空間は、運動状態ベクトル、RGB/深度/セグメンテーションカメラ、または近隣隣接情報を含みます。
PettingZooのParallelEnvラッパーにより、マルチエージェント強化学習が容易に統合できます。さらに、ホバリング、速度追跡、マルチドローンホバリング、ウェイポイントナビゲーション、編隊飛行、ゲートレーシング、汎用マルチエージェントテンプレートの7つのタスク環境が用意されており、インターフェースの幅広さを示しています。本論文では、環境設計、物理モデルとクアッドコプターの動力学を説明し、gym-pybullet-dronesプロジェクトと類似した制御および学習例を通して、MuJoCoの改善された接触処理、レンダリング、並列化機能を活用した使用方法を示します。
MuJoCo-Drones-Gymはオープンソースとして公開されており、空中ロボティクス研究に高スループットで高忠実度なシミュレーションプラットフォームを提供し、マルチドローン制御と強化学習アルゴリズムの進展に貢献することが期待されます。