ロボット操作における強化学習では、手動で設計した密な報酬関数は調整が難しく脆弱であることが多く、人間のデモンストレーションや選好から報酬を学習する方法はコストがかかる。近年、事前学習済みの視覚言語モデル（VLM）をゼロショット報酬モデルとして使用し、単一のテキストプロンプトでこれらのコストを置き換える研究が進められている。しかし、本論文の著者らは、単一のグローバルプロンプトはランダムな初期条件を持つ長期的な操作タスクには粗すぎると主張する。単一プロンプトのVLM報酬は軌道の大部分でほぼ平坦であり、エージェントが初期の進捗を検出するのを困難にする。
この問題を解決するため、著者らは強化学習マイクロタスク学習（RMTL）を提案する。この手法は操作タスクを言語で記述された少数のマイクロタスクに分解し、エージェントがそれらを切り替えるように訓練する。各ステップで、エージェントは現在アクティブなマイクロタスクのプロンプトを使用して計算されたマルチビューのVLM報酬を受け取り、複数のカメラ視点で平均化することで視点特有のオクルージョンの影響を低減する。さらに、逆カリキュラムによってエージェントをより困難な初期条件に徐々にさらし、まず固定距離ルールでアクティブなマイクロタスクを選択するPPOワーカーを訓練する。その後、このルールを学習された階層マネージャーに置き換え、ルールベースのフェーズ選択を完全に学習された階層ポリシーに変換する。
著者らはFetch操作環境でRMTLを実装し、3つの短い段階別プロンプトを使用し、追加のプロンプト調整を行わなかった。実験の結果、RMTLは単一プロンプトのVLM報酬よりも情報量の多い報酬信号を提供し、より高速な学習を可能にすることが示された。これらの結果は、VLM報酬をマイクロタスク固有の言語プロンプトに分解することで、言語誘導型強化学習のロボット操作におけるスケーラビリティを大幅に向上できることを示唆している。本論文は2026年6月24日に提出され、16ページ、11図からなり、ロボティクス（cs.RO）分野に属する。