LEACL: 長期間操作タスクの強化学習におけるLLM強化自動カリキュラム学習

長期間操作タスクは、報酬信号が疎で時間軸が長いため、強化学習にとって大きな困難をもたらす。自動カリキュラム学習（ACL）は、簡単なタスクから難しいタスクへと段階的にエージェントを訓練することでこの問題に対処するが、その成功はタスクパラメータ空間や難易度指標といったタスク依存の仕様に大きく依存しており、これらは手作業で設計されることが多く、多様なタスクへの汎化が難しい。近年、大規模言語モデル（LLM）の進歩により、ウェブスケールの常識知識を利用して複雑なタスクを意味のあるサブタスクに分解できるようになり、長期間タスクの効率的な学習のための自然なカリキュラム構造が提供されるようになった。しかし、既存のLLMベースの手法は、各サブタスクを学習するために手設計の密な報酬関数に依存しており、バイアスが生じるとともに多大な人間の監督を必要とする。

本研究では、これらの限界に対処するために、LLMとACLを統合したLEACLフレームワークを提案する。具体的には、LLMを用いてタスクをサブタスクに分解するとともに、各サブタスクのタスク依存仕様を生成する。これらの仕様はACLアルゴリズムによって利用され、疎な報酬信号のみで学習を導き、密な報酬設計を不要にする。著者らは、LIBEROベンチマークの5つの長期間操作タスク（物体配置、引き出し操作など）でLEACLを評価した。実験の結果、LEACLは人手による密な報酬設計と比較して、成功率の点でより優れた漸近性能を示し、収束も速かった。

本論文は全8ページ、4つの図を含み、IEEE/RSJ国際知能ロボットシステム会議（IROS 2026）で発表された。研究のコードやデータはまだ公開されていないが、論文には詳細な理論的分析と実験設定が提供されている。本研究は、ロボット学習におけるLLMの大きな可能性を示し、将来的に人手による密な設計を必要としないカリキュラム学習の基盤を築くものである。