オープンワールドタスクにおいて、視覚言語モデル（VLM）エージェントは有望な進歩を示している。これらのタスクでは、成功するためには複数ターンにわたる視覚認識と行動実行が必要となることが多い。しかし、既存の手法は主に専門家のデモンストレーションを用いた教師あり微調整（SFT）に依存しており、先進的な強化学習アルゴリズムであるグループ相対ポリシー最適化（GRPO）は、これらのタスクのマルチターン強化学習に効果的に活用されていなかった。標準的なGRPOは完全な軌跡を訓練サンプルとして必要とするため、コンテキストが過度に長くなり、ノイズが生じるという問題がある。
この問題に対処するため、研究者らはGROWを提案した。GROWはオープンワールドVLMエージェントのための強化学習フレームワークであり、収集された軌跡を状態-行動サンプルに分解し、軌跡全体を単一のエンティティとして扱うのではなく、これらのサンプル間のアドバンテージを計算する。この分解により、各訓練サンプルのコンテキスト長が大幅に短縮され、ノイズが低減されるため、GRPOをマルチターンインタラクションに安定して適用できるようになる。
理論的な妥当性を検証するため、著者らは代理分析を提供している。分析によれば、グループ化されたサンプルが同一のプロンプトコンテキストではなく異なる局所状態に条件付けられているにもかかわらず、いくつかの簡略化仮定の下では、目的関数がGRPOの核となる相対ポリシー最適化信号を保持することが示されている。これは、GROWがサンプルの組織化方法を変更しながらも、GRPOアルゴリズムの重要な利点を失っていないことを意味する。
実験は800以上のMinecraftタスクで評価された。Minecraftは典型的なオープンワールド環境であり、エージェントには長期的な計画、視覚理解、多段階の行動実行能力が要求される。実験結果は、GROWが最先端の性能を達成したことを示し、提案された強化学習フレームワークがオープンワールドVLMエージェントタスクにおいて有効であることを実証している。この研究は、複雑なマルチターンの視覚-言語タスクに強化学習を適用するための新たなアプローチと実証的サポートを提供するものである。