確率的遅延下でのロボット遠隔操作のための残差強化学習

遠隔操作における確率的通信遅延は信号の不連続性を引き起こし、制御の安定性と性能を低下させる。従来の強化学習手法は遅延した観測に直面すると高周波チャタリングを生じ、問題を悪化させる。この課題に対処するため、研究者らは「遅延耐性強化学習（Delay-Resilient RL）」というハイブリッド制御フレームワークを提案した。本フレームワークは、長短期記憶（LSTM）ネットワークを用いた状態推定器と、残差強化学習ポリシーを統合する。LSTMは遅延した観測から滑らかで連続的な状態推定を再構築し、強化学習エージェントに信頼性の高い入力を提供する。残差強化学習ポリシーは、追跡精度と速度平滑性を両立する残差トルク補償を学習する。この設計により、従来手法で見られた高周波振動を抑制しつつ、制御性能を維持する。実験はFranka Pandaロボットを用いて行われ、様々な分散レベルの確率的遅延下で評価された。結果は、提案手法が追跡精度と動作の滑らかさにおいて最先端のベースラインを大幅に上回ることを示した。特に高分散遅延環境でも、システムは安定した遠隔操作を実現した。本研究は2026年第23回IFAC世界会議で採択された。今後の課題として、状態推定器のリアルタイム性能向上や、より複雑なシナリオへの応用が考えられる。さらに、本フレームワークのモジュール設計により、LSTM状態推定器を他の制御戦略と組み合わせることが可能であり、今後の研究に柔軟な基盤を提供する。チームは実際の遠隔操作シナリオでのテストを計画しており、マルチセンサーフュージョンを導入して推定のロバスト性を高めることを検討している。本研究はKaize Dengらによって行われ、論文番号arXiv:2605.15480としてarXivで公開されている。2026年5月14日に提出されたこの論文は、PDFおよびHTML形式で入手可能であり、実験データやコードへのリンクも提供されている。この成果は、遠隔操作における遅延問題に対する重要な解決策を提供するとともに、ロボット制御における強化学習の応用に新たな方向性を示している。