跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

LEACL:基於大語言模型增強的自動課程學習,用於長時域操作任務中的強化學習

文章摘要

本文提出LEACL框架,結合大語言模型與自動課程學習,通過分解任務和生成規格,使用稀疏獎勵信號高效訓練長時域操作任務。在LIBERO基準上,LEACL在成功率上優於人工設計的密集獎勵。

來源arXiv Robotics作者: Faraz Heravi, James Ouyang, Zifan Xu, Arjun Kumar, Yoonchang Sung, Peter Stone
LEACL:基於大語言模型增強的自動課程學習,用於長時域操作任務中的強化學習
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

長時域操作任務在強化學習中面臨重大挑戰,主要因為獎勵信號稀疏且時間跨度長。自動課程學習(ACL)通過從易到難逐步訓練智能體來緩解這一問題,但其成功高度依賴人工設計的任務參數空間和難度度量,導致難以泛化。近年來,大語言模型(LLM)憑藉豐富的常識知識,能夠將複雜任務分解為有意義的子任務,為課程學習提供自然結構。然而,現有基於LLM的方法通常需要手動設計密集的獎勵函數來學習每個子任務,這引入了偏差且仍需大量人工干預。

本文提出LEACL(LLM-Enhanced Automatic Curriculum Learning)框架,將LLM與ACL深度融合。LEACL利用LLM不僅分解任務,還自動生成每個子任務的依賴規格。這些規格被ACL算法利用,僅通過稀疏獎勵信號指導學習,徹底消除了對密集獎勵設計的依賴。研究團隊在LIBERO基準的五個長時域操作任務上評估了LEACL,包括物品擺放、抽屜開關等。實驗結果顯示,LEACL在成功率方面顯著優於使用人工設計密集獎勵的方法,且收斂速度更快。

該論文由Faraz Heravi等六位作者完成,共8頁,包含4張圖表,已被IEEE/RSJ國際智能機器人與系統會議(IROS 2026)接收。研究代碼和數據尚未公開,但論文提供了詳細的算法描述和實驗設置。這一工作展示了LLM在機器人學習領域的巨大潛力,為未來無需密集人工設計的課程學習方案奠定了基礎。

展開要點與分析

文章情報

工程師進階

要點

  • LEACL利用LLM分解複雜任務為子任務,並生成任務依賴規格。
  • 無需密集獎勵設計,僅用稀疏獎勵引導學習。
  • 在LIBERO五個長時域操作任務上,LEACL取得更高成功率。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。