針對隨機延遲的機器人遙操作殘差強化學習

在遠端機器人操作中，通訊延遲的隨機性會引入訊號中斷，破壞控制穩定性並降低效能。傳統強化學習方法因延遲觀測而產生高頻抖動，難以應對這一挑戰。針對該問題，研究人員提出了一種混合控制框架——延遲魯棒強化學習（Delay-Resilient RL），該框架將長短期記憶網路（LSTM）狀態估計器與殘差強化學習策略相結合，以提升對隨機延遲的魯棒性。LSTM能夠從延遲的觀測資料中重建出平滑、連續的狀態估計，從而為強化學習代理提供可靠的輸入。基於此，殘差強化學習策略學習一個殘差扭矩補償策略，在保持跟蹤精度的同時確保速度平滑性。這種設計平衡了控制效能與穩定性，避免了傳統方法中的高頻振盪。實驗在Franka Panda機器人平臺上進行，驗證了該方法在不同方差水平的隨機延遲下的表現。結果表明，所提出的框架在跟蹤精度和運動平滑度方面均顯著優於當前最先進的基線方法。即使在高度不確定的通訊環境中，系統仍能保持穩定的遙操作效能。該研究已被2026年第23屆IFAC世界大會接收。未來的工作可能進一步最佳化狀態估計器的即時性，並探索在更復雜場景中的應用。此外，該框架的模組化設計允許將LSTM狀態估計器與其他控制策略結合，為後續研究提供了靈活的基礎。團隊計劃在真實遠端操作場景中進一步測試，並考慮引入多感測器融合以提高估計的魯棒性。該研究由Kaize Deng等作者完成，論文編號arXiv:2605.15480，目前已在arXiv上公開，並提供PDF和HTML版本供讀者查閱。論文的提交歷史顯示，該版本於2026年5月14日提交，包含詳細的實驗資料和程式碼連結。這一工作不僅解決了遙操作中的關鍵延遲問題，也為強化學習在機器人控制中的應用提供了新的思路。