現在、実行可能なコードポリシー（Code-as-Policy）を記述し、フィードバックを観察して複数回の試行で動作を修正できるエージェントロボットシステムが存在します。しかし、これらのシステムは本質的にタスク駆動型であり、再利用可能なスキルは明示的な指示があった場合にのみ獲得されます。この制限により、ロボットが未知の環境で自律的に知識を蓄積し適応する能力が妨げられています。
この問題に対処するため、研究者らは「遊び心のあるエージェントロボット学習」（Playful Agentic Robot Learning）を提案しました。このアプローチでは、具現化されたコーディングエージェントが、下流タスクが到着する前の継続的なスキル学習段階として自己主導の遊びを利用します。主要な貢献は、遊び時間中のスキル獲得のために設計されたRATs（Robotics Agent Teams）フレームワークです。
RATsの動作は以下の通りです。遊び中、RATsは新しく学習可能な探索的タスクを自律的に提案し、ロボットコードポリシーを計画および実行し、中間進捗を検証し、失敗を診断し、密なステップレベルのフィードバックで再試行します。実行が成功すると、RATsはそれを永続的なコードスキルライブラリに抽出します。テスト時には、エージェントはこの凍結されたライブラリから関連スキルを検索して再利用し、新しいタスクの解決に役立てます。
LIBERO-PROおよびMolmoSpacesでの実験により、遊びで学習したスキルは、遊びなしやランダムな遊びのベースラインと比較して、保留された下流タスクのパフォーマンスを大幅に向上させることが示されました。特に、CaP-Agent0と比較して、LIBERO-PROでは20.6ポイント、MolmoSpacesでは17.0ポイントの向上を達成しました。さらに、学習したスキルは、単にコンテキストに検索するだけで、他の推論時のCode-as-Policyエージェントにプラグインすることができ、RoboSuiteでは8.9ポイント、実世界転送では8.8ポイントの向上を、基盤モデルを微調整することなく実現しました。
この研究は、遊び心のある継続的学習メカニズムを導入することで、ロボットがより自律的かつ効率的にスキルを蓄積し、未知のタスクでより良いパフォーマンスを発揮できることを示しています。将来的には、この手法はより複雑なロボットシナリオに適用され、具現化知能の発展に貢献する可能性があります。
注目すべき点として、この手法の成功の鍵は、遊び段階で設計されたRATsフレームワークにあります。RATsは自律的に探索タスクを生成できるだけでなく、密なフィードバックを通じて自己改善を行います。従来の教師あり学習や強化学習の手法と比較して、この自己駆動型の探索メカニズムは、人手によるラベル付けや事前定義されたタスクへの依存を大幅に削減します。さらに、スキルの転用可能性は、同じスキルライブラリが複数の異なるロボットプラットフォームやタスク設定に役立つことを意味し、汎用ロボット知能の実現に向けた新たな可能性を提供します。研究チームはプロジェクトページで関連コードとデモを公開しており、他の研究者が再現やさらなる探求を行うことを可能にしています。