近年來，視覺語言模型（VLM）智能體在開放世界任務中取得了顯著進展。這類任務通常需要多輪視覺感知與動作執行，例如在Minecraft遊戲中完成複雜目標。然而，現有的方法主要依賴專家示範的監督微調（SFT），而先進的強化學習算法，特別是組相對策略優化（GRPO），尚未被有效地應用於多輪強化學習場景。這是因為標準GRPO要求使用完整的軌跡作為訓練樣本，導致上下文過長且包含大量噪聲，從而影響了學習效率。
針對這一挑戰，由Xiongbin Wu等作者提出的GROW框架應運而生。GROW是一個為開放世界VLM智能體設計的強化學習框架，其核心創新在於將收集到的完整軌跡分解為狀態-動作樣本，並在這些樣本之間計算優勢值，而不是將整個軌跡視為一個單一的實體。這種方法有效地解決了標準GRPO在長軌跡下的問題。此外，研究團隊還提供了一種替代性分析，證明即使分組樣本依賴於不同的局部狀態而非相同的提示上下文，該優化目標在簡化假設下仍然能夠保留GRPO的核心相對策略優化信號，從而保證了算法的有效性。
在實驗部分，研究團隊在超過800項Minecraft任務上對GROW進行了評估，這些任務涵蓋了從簡單採集到複雜建造的多種類型。結果顯示，GROW方法在所有任務上均取得了最先進的性能（SOTA），顯著超越了基於SFT和標準GRPO的基線方法。這一成果充分驗證了所提出的強化學習框架在開放世界VLM智能體中的有效性。
GROW的提出不僅為將先進RL算法引入多輪視覺語言任務開闢了新途徑，也為未來在更復雜的開放世界環境中訓練智能體提供了重要的技術支撐。它有望推動VLM智能體在遊戲、機器人導航等實際應用中的進一步發展。未來的工作可以探索將GROW與多模態預訓練模型結合，或將其應用於更復雜的長期規劃任務。總體而言，GROW為VLM智能體的多輪強化學習提供了一種有效且實用的解決方案，具有重要的學術和應用價值。