長時域操作任務在強化學習中面臨重大挑戰,主要因為獎勵信號稀疏且時間跨度長。自動課程學習(ACL)通過從易到難逐步訓練智能體來緩解這一問題,但其成功高度依賴人工設計的任務參數空間和難度度量,導致難以泛化。近年來,大語言模型(LLM)憑藉豐富的常識知識,能夠將複雜任務分解為有意義的子任務,為課程學習提供自然結構。然而,現有基於LLM的方法通常需要手動設計密集的獎勵函數來學習每個子任務,這引入了偏差且仍需大量人工干預。
本文提出LEACL(LLM-Enhanced Automatic Curriculum Learning)框架,將LLM與ACL深度融合。LEACL利用LLM不僅分解任務,還自動生成每個子任務的依賴規格。這些規格被ACL算法利用,僅通過稀疏獎勵信號指導學習,徹底消除了對密集獎勵設計的依賴。研究團隊在LIBERO基準的五個長時域操作任務上評估了LEACL,包括物品擺放、抽屜開關等。實驗結果顯示,LEACL在成功率方面顯著優於使用人工設計密集獎勵的方法,且收斂速度更快。
該論文由Faraz Heravi等六位作者完成,共8頁,包含4張圖表,已被IEEE/RSJ國際智能機器人與系統會議(IROS 2026)接收。研究代碼和數據尚未公開,但論文提供了詳細的算法描述和實驗設置。這一工作展示了LLM在機器人學習領域的巨大潛力,為未來無需密集人工設計的課程學習方案奠定了基礎。