蛇型ロボットの複雑な環境での移動制御はロボット工学における重要な課題であり、特に流体の粘性が動的に変化する状況ではその困難さが増します。従来の制御手法は事前に定義されたモデルとパラメータに依存するため、リアルタイムの環境変化に適応することが難しく、性能が制限されます。東京大学の研究チーム（Tsuyoshi Kimoto氏ら）はarXivにプレプリントを公開し、深層強化学習（DRL）を用いてこの問題に取り組んでいます。本研究は学術誌に投稿済みであり、DRLがロボットの適応的移動に革新をもたらす可能性を示しています。
研究チームは蛇型ロボットの移動タスクを部分観測マルコフ決定過程（POMDP）としてモデル化しました。ロボットは流体の粘性を直接測定するセンサを搭載していないため、関節角度や角速度などの固有感覚情報のみを利用できるという制約があります。この課題を克服するため、非対称アクター・クリティックフレームワークを採用しました。このフレームワークでは、物理シミュレータ内でのみ利用可能な特権情報（真の粘性値など）を使用して教師方策を訓練し、その後、知識蒸留を介して教師方策の知識を固有感覚センサのみに依存する学生方策に移転します。これにより、学生方策は流体特性を直接感知することなく、実環境で適応的な動作を実現できます。
シミュレーションは10^{-7}から10^{-2} m^2/sの広範な粘性範囲にわたって実施されました。結果として、DRLエージェントは非正弦波形状の適応的歩容を自律的に獲得しました。従来の正弦波制御と比較して、推進速度は約30%向上し、輸送効率も大幅に改善されました。これらの歩容は粘性の変化に応じて波の周波数、振幅、位相を自動調整し、従来の運動学的制御の性能限界を打破します。
本研究の意義は、暗黙的な環境推論と特権情報蒸留の組み合わせにより、ロボットが専用センサを必要とせずに複雑で予測困難な流体環境に適応できることを示した点にあります。これにより、水中探査、パイプライン保守、災害救助などの分野での応用が期待されます。研究チームは、今後、実際の蛇型ロボットプラットフォーム上でシミュレーション結果を検証し、より複雑な動的環境（例えば乱流や多相流）へのアルゴリズムの拡張を目指しています。この研究は、深層強化学習を実ロボットシステムに適用するための重要な知見を提供し、制御工学とロボット工学の発展に寄与するものです。