強化學習在機器人操作任務中通常需要手動設計稠密獎勵函式，這既難以調校又容易出錯；或者透過人類演示或偏好來學習獎勵，但這種方式成本高昂。最近的研究利用預訓練的視覺語言模型（VLM）作為零樣本獎勵模型，只需一個文本提示即可替代上述成本。然而，研究人員指出，對於初始條件隨機的長時間操作任務，單一全域性提示過於粗糙：單提示VLM獎勵在軌跡的大部分時段接近平坦，導致智慧體難以檢測早期進展。
為解決這個問題，本文提出強化微任務學習（RMTL），一種將操作任務分解為少量語言描述的微任務的方法。智慧體被訓練在這些微任務之間切換。在每個步驟，智慧體接收基於當前活躍微任務提示的多視角VLM獎勵，並透過多個相機視角平均以減少視角特定遮擋的影響。同時採用逆向課程，逐步將智慧體暴露於更難的初始條件。首先使用基於固定距離的規則選擇活躍微任務來訓練PPO工作器，之後用學習到的分層管理器替代該規則，將基於規則的階段選擇轉變為完全學習的分層策略。
RMTL在Fetch操作環境中例項化，使用了三個簡短階段特定提示：接近物體、抓取物體、移動物體到目標位置。這些提示無需額外調優。實驗在多種初始條件下進行，包括隨機放置物體和目標位置。結果表明，RMTL提供的獎勵訊號比單提示VLM獎勵更豐富，使得學習更快、更穩定。特別是在早期階段，RMTL能給予智慧體更明確的反饋，幫助其快速掌握基本技能。隨著訓練進行，分層管理器學會根據當前狀態自適應切換微任務，進一步最佳化策略。
這些發現表明，將VLM獎勵分解為微任務特定的語言提示可以顯著提高語言引導強化學習在機器人操作中的可擴充套件性。未來工作可以探索更復雜的任務分解、多機器人協作以及實際機器人部署中的挑戰。