物理AIシステムの主要な課題はデータの入手可能性です。大規模言語モデルや視覚言語モデルがインターネット規模のデータセットで訓練できるのに対し、ロボットは物理世界との相互作用を通じて学習する必要があり、現実世界でのデータ収集は遅く、費用がかかり、リスクを伴います。シミュレーションは、GPU並列処理を活用して大量のフォトリアリスティックで物理的に正当なデータを生成することで、この問題を解決します。これにより、現実世界での実験のごく一部のコストで数千時間分のロボット経験を生成できます。
現代のシミュレーションは、単なるデバッグツールからモデル開発ループの一部へと進化しました。チームはシミュレーションを利用して、知覚データセットの生成、強化学習ポリシーの訓練、デモンストレーションの収集、現実世界データの拡張、モデルのベンチマーク、まれなシナリオや敵対的シナリオでのポリシーテストなどを行っています。この変化により、産業研究所や学術グループはこれらの新しい要件を満たすシミュレーションエンジンの開発に貢献しています。
これらの要件は「3つのコンピュータ」パラダイムで理解できます。訓練コンピュータ（大規模GPUクラスタ）、シミューションコンピュータ（GPUアクセラレーション物理とRTXレンダリングを使用）、ロボットコンピュータ（エッジデバイス）。それぞれがレイテンシ、スループット、精度、展開要件に応じて異なる役割を果たします。
現在、さまざまなシミュレーションエンジンが利用可能で、それぞれが特定のユースケース（人型ロボット、航空機、地上ロボット、自動運転車、四足歩行ロボット、器用マニピュレータなど）をターゲットとしています。本記事では、MuJoCo、MuJoCo Warp、NVIDIA Isaac Sim、Isaac Labに焦点を当てます。
MuJoCoは、高速で正確なオープンソースの物理エンジンで、ロボット工学、生体力学、強化学習などに主に使用されます。接触を伴うダイナミクスとモデルベースの最適化に重点を置いています。MuJoCo WarpはそのGPUアクセラレーション版で、NVIDIA Warpで記述され、バッチシミュレーションをサポートし、大規模ポリシー訓練に適しています。Isaac SimはNVIDIA Omniverse上に構築されたオープンソースのロボティクスシミュレーションフレームワークで、PhysXによる高忠実度物理とRTXレンダリングを提供します。Isaac Lab 3.0はロボット学習に特化した軽量のマルチバックエンドフレームワークです。
新たに登場したNewtonは、NVIDIA、Google DeepMind、Disney Researchが開発し、Linux Foundationが管理するオープンソースのGPUアクセラレーション対応微分可能物理エンジンです。NVIDIA WarpとOpenUSDに基づき、MuJoCo Warpを主要な物理バックエンドとして統合しています。Newtonは、一般化座標ソルバーや最大座標ソルバーなど、さまざまなソルバー実装を提供し、物理システムの特性に応じて選択できます。
その他のシミュレーションエンジン（PyBullet、DART、ODE、Drake）も特定のニッチで使用されていますが、単一のGPUで数千体の人型ロボットをシミュレーションすることはできません。
結論として、ロボットシミュレーションは現代の具現化AIスタックにおいて最も重要なレイヤーの一つです。静的データセットから物理的相互作用へと移行するにつれて、高品質でスケーラブルなシミュレーション体験の生成は、オプションではなく基盤となります。シミュレーションはポリシーのストレステスト、データ増幅、そしてますますトレーニングパイプライン全体の開始点となっています。将来、エコシステムは細分化され、異なるエンジンが構築される共有インフラストラクチャが現れる可能性があります。