敏捷な魚型ロボットの経路追跡における微分可能強化学習
魚型遊泳は数十から数百もの生体模倣ロボットの設計を触発してきたが、流固連成のモデル化困難と非線形・劣駆動ダイナミクスにより制御と運動計画は難しい。本研究では計算効率の高いシミュレーションプラットフォームを開発し、時間方向逆伝播とカリキュラム訓練を用いた微分可能強化学習により可変PIDゲインを学習。シミュレーションで獲得した方策を実機に適用し、優れた一致を示した。
魚の遊泳は長年にわたり生体模倣ロボットの研究を刺激してきており、過去数十年で数十から数百もの魚型ロボットが開発されてきた。しかし、流体と構造物の相互作用（流固連成）の正確なモデル化が困難であること、そしてロボット自体が非線形な劣駆動システムであることから、その制御と運動計画は大きな課題となっている。強化学習は地上や空中ロボットにおいて顕著な進歩をもたらしたが、魚型ロボットでは計算速度と精度を両立する適切なシミュレーション環境が不足しており、同様の進展が妨げられてきた。本研究では、この二重の問題に取り組むため、まず魚型ロボットの運動を計算効率よく近似するシミュレーションプラットフォームを開発した。次に、微分可能強化学習（Differentiable Reinforcement Learning）を用いて、時間方向逆伝播（Backpropagation Through Time, BPTT）とカリキュラム学習（Curriculum Training）によりPID制御器の可変ゲインを学習する手法を提案した。このアプローチにより、シミュレーション内で制御方策をエンドツーエンドの勾配最適化によって調整できる。カリキュラム学習では、ロボットが簡単な経路から始めて徐々に複雑な軌道へと学習するように設計されており、安定した収束が保証される。また、本手法は計算効率に優れ、一般的なデスクトップコンピュータで訓練可能である。実験では、シミュレーションで学習した方策を物理ロボットに直接転送したところ、シミュレーションと実機の間で極めて良好な一致が確認された。本成果は、劣駆動水中ロボットの制御における微分可能強化学習の有効性を示すとともに、生体模倣ロボットの実機展開に向けた実用的な技術経路を提供するものである。なお、本論文はIROS 2026で採択され、9ページの本文、12枚の図、1枚の表から構成される。