可微分强化学习在敏捷仿生鱼机器人路径追踪中的应用

鱼类的游动方式长期以来一直是仿生机器人设计的重要灵感来源。过去几十年间，研究人员已经开发了数十甚至数百种鱼形机器人，但由于流体与结构之间的复杂耦合作用难以精确建模，加上机器人本身具有非线性、欠驱动的动力学特性，这些机器人的运动控制和路径规划始终是极具挑战性的难题。近期，强化学习在陆地机器人和空中机器人领域取得了显著进展，然而适用于鱼形机器人的高质量仿真环境却十分缺乏，这严重限制了类似方法的推广。为了解决这一双重瓶颈，本研究团队首先构建了一个计算高效的仿真平台，该平台能够以良好的近似精度模拟鱼形机器人的水下运动。在此基础上，他们采用了可微分强化学习（Differentiable Reinforcement Learning）方法，通过时间反向传播（Backpropagation Through Time, BPTT）与课程式训练（Curriculum Training）来学习PID控制器的可变增益参数。这种端到端的梯度优化策略使得仿真环境中训练出的控制策略不仅表现优异，而且具备良好的泛化能力。在课程训练方面，研究团队设计了一系列逐渐增加难度的任务，让机器人先从简单路径开始学习，逐步过渡到复杂曲折的轨迹，从而保证了学习的稳定性和收敛性。此外，该方法在计算效率上具有显著优势，使得在普通台式机上即可完成训练，无需昂贵的计算资源。在实验验证中，研究人员将在仿真环境中训练完成的策略直接迁移到真实鱼形机器人平台上，结果显示出仿真与实物之间极佳的一致性，有力证明了该方法的实际可行性。该研究成果已被机器人领域顶级会议IROS 2026接收，论文共9页，包含12张图片和1张表格，详细阐述了方法原理、实验设置与分析结果。这一工作不仅为欠驱动水下机器人的高效控制开辟了新途径，也为仿生机器人从仿真走向实际部署提供了坚实的技术支撑。