3D RL-DWA：一种用于多自由度机器人目标导向局部导航的混合强化学习与动态窗口方法
本研究提出了一种结合强化学习（RL）与动态窗口方法（DWA）的混合框架，用于高自由度机器人系统的自适应3D局部导航。该方法利用稀疏点云数据动态调整可变形微型机器人的运动和形状，使其能够在复杂受限环境中向目标导航，同时最大化占据体积。在模拟血管网络中的1080次试验表明，与纯RL和基于模型的方法相比，混合方法显著提升了变形和导航能力。训练后的控制器在未知场景中仍保持稳健性能，凸显了混合规划策略在稀疏感知条件下高效自适应3D导航的潜力。
一篇名为“3D RL-DWA: A Hybrid Reinforcement Learning and Dynamic Window Approach for Goal-Directed Local Navigation in Multi-DoF Robots”的论文于2026年5月12日提交至arXiv，并被IEEE/ASME国际先进智能机电一体化会议（AIM2026）接收。该研究由Chiara Castellani等人共同完成，提出了一种创新性的混合导航方法，旨在解决高自由度（DoF）机器人系统在三维空间中的复杂局部导航问题。
传统导航方法通常依赖强化学习（RL）或动态窗口方法（DWA）中的一种，但各有局限。RL在处理动态环境时可能收敛缓慢，而DWA对全局规划依赖较强。该研究巧妙地整合了两者的优势：利用RL智能体的决策能力与DWA的实时避障功能，使系统能够根据稀疏点云数据同时调整微型机器人的运动轨迹和自身形状。这种可变形能力使其在类似血管网络的狭窄、复杂环境中既能高效向目标移动，又能最大化占据空间，从而提升通过性。
研究人员在模拟血管网络中进行了大量实验，总计1080次试验。结果显示，RL-DWA混合方法在变形能力和导航路径完成率上显著优于纯RL方法和传统基于模型的方法。特别地，在训练阶段，混合控制器能够持续保持高水平变形，并几乎完美地完成预设路径。更关键的是，在面对未经训练的全新场景时，该控制器仍能维持稳健性能，展现出出色的泛化能力。这些成果表明，混合规划策略在稀疏感知条件下实现高效、自适应3D导航具有巨大潜力，尤其适用于医疗微创手术、灾难搜救等领域的微型机器人控制。
论文还提供了完整的代码、数据和实验细节，便于其他研究者复现和扩展。该研究为高自由度机器人导航领域提供了一种新思路，未来或可进一步结合视觉传感器或动态障碍物预测，以提升在真实世界中的适用性。此外，该混合框架的模块化设计允许灵活替换或升级RL和DWA组件，为后续优化提供了便利。