可微分強化學習在敏捷仿生魚機器人路徑追蹤中的應用

魚類的遊動方式長期以來一直是仿生機器人設計的重要靈感來源。過去幾十年間，研究人員已經開發了數十甚至數百種魚形機器人，但由於流體與結構之間的複雜耦合作用難以精確建模，加上機器人本身具有非線性、欠驅動的動力學特性，這些機器人的運動控制和路徑規劃始終是極具挑戰性的難題。近期，強化學習在陸地機器人和空中機器人領域取得了顯著進展，然而適用於魚形機器人的高質量模擬環境卻十分缺乏，這嚴重限制了類似方法的推廣。為了解決這一雙重瓶頸，本研究團隊首先構建了一個計算高效的模擬平臺，該平臺能夠以良好的近似精度模擬魚形機器人的水下運動。在此基礎上，他們採用了可微分強化學習（Differentiable Reinforcement Learning）方法，透過時間反向傳播（Backpropagation Through Time, BPTT）與課程式訓練（Curriculum Training）來學習PID控制器的可變增益引數。這種端到端的梯度最佳化策略使得模擬環境中訓練出的控制策略不僅表現優異，而且具備良好的泛化能力。在課程訓練方面，研究團隊設計了一系列逐漸增加難度的任務，讓機器人先從簡單路徑開始學習，逐步過渡到複雜曲折的軌跡，從而保證了學習的穩定性和收斂性。此外，該方法在計算效率上具有顯著優勢，使得在普通桌上型電腦上即可完成訓練，無需昂貴的計算資源。在實驗驗證中，研究人員將在模擬環境中訓練完成的策略直接遷移到真實魚形機器人平臺上，結果顯示出模擬與實物之間極佳的一致性，有力證明了該方法的實際可行性。該研究成果已被機器人領域頂級會議IROS 2026接收，論文共9頁，包含12張圖片和1張表格，詳細闡述了方法原理、實驗設定與分析結果。這一工作不僅為欠驅動水下機器人的高效控制開闢了新途徑，也為仿生機器人從模擬走向實際部署提供了堅實的技術支撐。