強化學習中動作空間對視覺機器人操作影響的基準測試

在現實世界的強化學習（RL）中，動作空間的選擇對運動平滑性、安全性以及整體任務性能起着關鍵作用。一項由Seyed Alireza Azimi及其同事進行的新研究系統性地評估了四種不同的動作空間表示：位姿增量、位姿速度、關節位置增量和關節速度。該研究題為“Benchmarking Action Spaces in Reinforcement Learning for Vision-based Robotic Manipulation”，於2026年6月17日提交至arXiv，屬於機器人學（cs.RO）和人工智能（cs.AI）領域。

研究團隊在兩個基於視覺的機器人操作任務——物體抓取和推拉——中進行了測試。他們在仿真環境中訓練了強化學習策略，並利用仿真到真實遷移技術將其部署到真實機器人上。通過對比不同動作空間的表現，他們發現動作空間表示確實顯著影響了從仿真到真實的性能。具體而言，關節速度動作空間在視覺抓取和推拉任務中，在運動平滑性和最終任務完成度方面均優於其他選項。關節速度動作空間有助於減少機器人運動中的抖動和不穩定，這對於真實世界的應用尤為重要，因為平穩的運動可以提高安全性並延長硬件壽命。

除了性能比較，該團隊還為強化學習從業者提供了關於如何在仿真和真實實驗中選擇合適動作空間的實用指導。他們強調，動作空間的選擇應基於任務的具體要求以及機器人硬件的限制。例如，對於需要高精度和流暢運動的操作任務，關節速度可能是首選；而對於其他場景，可能需要權衡計算複雜度和實時性。論文還提供了9頁的參考文獻，詳細記錄了實驗設置和結果。

這項研究為視覺機器人操作領域的強化學習應用提供了寶貴的基準，並強調了在仿真到真實遷移中考慮動作空間的重要性。未來工作可能會探索更多類型的動作空間以及它們在更復雜任務中的表現，例如多步操作或動態環境中的任務。