针对随机延迟的机器人遥操作残差强化学习

在远程机器人操作中，通信延迟的随机性会引入信号中断，破坏控制稳定性并降低性能。传统强化学习方法因延迟观测而产生高频抖动，难以应对这一挑战。针对该问题，研究人员提出了一种混合控制框架——延迟鲁棒强化学习（Delay-Resilient RL），该框架将长短期记忆网络（LSTM）状态估计器与残差强化学习策略相结合，以提升对随机延迟的鲁棒性。LSTM能够从延迟的观测数据中重建出平滑、连续的状态估计，从而为强化学习代理提供可靠的输入。基于此，残差强化学习策略学习一个残差扭矩补偿策略，在保持跟踪精度的同时确保速度平滑性。这种设计平衡了控制性能与稳定性，避免了传统方法中的高频振荡。实验在Franka Panda机器人平台上进行，验证了该方法在不同方差水平的随机延迟下的表现。结果表明，所提出的框架在跟踪精度和运动平滑度方面均显著优于当前最先进的基线方法。即使在高度不确定的通信环境中，系统仍能保持稳定的遥操作性能。该研究已被2026年第23届IFAC世界大会接收。未来的工作可能进一步优化状态估计器的实时性，并探索在更复杂场景中的应用。此外，该框架的模块化设计允许将LSTM状态估计器与其他控制策略结合，为后续研究提供了灵活的基础。团队计划在真实远程操作场景中进一步测试，并考虑引入多传感器融合以提高估计的鲁棒性。该研究由Kaize Deng等作者完成，论文编号arXiv:2605.15480，目前已在arXiv上公开，并提供PDF和HTML版本供读者查阅。论文的提交历史显示，该版本于2026年5月14日提交，包含详细的实验数据和代码链接。这一工作不仅解决了遥操作中的关键延迟问题，也为强化学习在机器人控制中的应用提供了新的思路。