オープンアント：強化学習研究のためのロボットプラットフォーム
本稿では、強化学習研究におけるシミュレーションと現実のギャップを埋めるために設計された物理ロボットプラットフォーム「Open Ant」を紹介する。SARSA(λ)とSACの2つのアルゴリズムで、実機での経験から約1時間で歩行ポリシーをゼロから学習可能であり、シミュレーションで学習したポリシーも現実に転移できることを示す。ハードウェアとソフトウェアはオープンソースとして公開されている。
強化学習（RL）研究は物理ドメインとシミュレーションドメインの両方で成功を収めてきたが、主流の方法論は依然としてシミュレーションに根ざしている。このシミュレーション偏重により、研究を物理現実に移行することはアルゴリズムと研究者の双方にとって不確実なものとなっている。本稿では、その移行を簡素化するために設計された物理プラットフォーム「Open Ant」を提案する。
Open Antは、一般的に使用されるGymnasium Ant環境の物理バリアントであり、対応するシミュレーションも提供される。研究チームは、SARSA(λ)とSoft Actor-Critic（SAC）という2つの大きく異なるRLアルゴリズムが、実機の経験から直接約1時間で歩行ポリシーをゼロから学習できることを実証した。SARSA(λ)は時間差学習に基づく方策反復手法であり、SACは最大エントロピー原理に基づく確率的方策最適化アルゴリズムである。両者は理論と実装が大きく異なるが、Open Ant上で効率的に歩行ポリシーを学習できた。さらに、シミュレーションで学習したポリシーが現実に転移することも示している。
また、プラットフォームが機敏な実験エコシステムをどの程度サポートするかについても調査した。具体的には、多様な背景を持つ新規ユーザーがプラットフォームで初めての成功を達成するまでの速度や、ハードウェアの問題発生時の修理・更新の容易さを観察した。ハードウェア設計は3Dプリント部品と標準モーターを使用したモジュラー構造で、カスタマイズや修理の障壁を低減している。ソフトウェアはROS 2インターフェースとPython APIを完全に提供しており、統合や拡張が容易である。ハードウェア設計とソフトウェアはどちらもGitHubでオープンソースとして公開されており、研究者が自由に改変できる。
まとめとして、シミュレーション環境を頻繁に使用するRL研究者が、評価にロボット実験をより簡単に組み込めるよう、Open Antの使用を推奨する。このプラットフォームの公開は、RLアルゴリズムのシミュレーションから現実世界への変換を加速し、ロボット学習研究の発展に寄与することが期待される。