航空ロボティクス研究において、シミュレータは新しい制御アルゴリズムの開発を支える基盤であると同時に、強化学習ポリシーを訓練するためのデータ源でもある。しかし、既存のクアッドコプター学習環境は、物理的忠実度、マルチエージェント対応、そして現代の深層強化学習パイプラインが要求するスループットの間でトレードオフを抱えていることが多い。この課題に対処するため、研究者Manan Tayal氏は論文を提出し、MuJoCo物理エンジン上に構築されたオープンソースでGymnasium互換のマルチドローン環境「MuJoCo-Drones-Gym」を発表した。
MuJoCo-Drones-Gymの中心的な設計は、任意の数のBitcraze Crazyflie 2.xナノクアッドコプターをサポートし、ユーザーがシミュレーション構成を柔軟に選択できるモジュール式APIを公開している点にある。第一に、物理モデルとして、剛体MuJoCo動力学、明示的Python動力学、あるいは地面効果、ブレード抗力、ドローン間ダウンウォッシュといった空気力学的効果の任意のサブセットを有効にできる。第二に、アクションインターフェースは、モーターごとのRPM、集団正規化推力、速度設定値、PIDウェイポイントコマンドをサポートし、低レベルモーター制御から高レベルタスク指令まで幅広い制御方式をカバーする。第三に、観測空間は、運動学的状態ベクトル、RGB/深度/セグメンテーションカメラ画像、または近傍隣接情報とすることができ、視覚ベースおよび状態ベースのポリシー研究に適している。
マルチエージェント強化学習を支援するため、この環境はPettingZoo ParallelEnvラッパーを提供し、既存のマルチエージェントRLアルゴリズムをそのまま利用できる。さらに、著者らは7つのタスク環境を同時に公開している。ホバー、速度追従、マルチドローン�ホバー、ウェイポイントナビゲーション、フォーメーションフライト、ゲートレーシング、そして汎用マルチエージェントテンプレートである。これらのタスクは、単機の低レベル制御からマルチ機協調の高レベル意思決定までをカバーし、さまざまな研究ニーズに対応するベンチマークを提供する。
論文では、環境設計、基礎となる物理とクアッドコプター動力学を詳細に説明し、制御と学習の例を通じてその使用方法を示している。これらの例は、密接に関連するgym-pybullet-dronesプロジェクトに対応するが、MuJoCoの接触処理、レンダリング、並列化の改善を活用している。この研究は、物理的忠実度と計算効率を兼ね備えたマルチドローン強化学習研究のためのツールを提供し、航空ロボティクス分野における制御アルゴリズムとRLポリシーの発展を促進することが期待される。