最先端の視覚言語モデルはユーザーインターフェース（UI）ナビゲーションにおいて強力な能力を示すが、その高い推論コストが日常的な利用を妨げている。一方、教師あり微調整（SFT）やオフライン強化学習で訓練された小型モデルは、静的な軌跡を記憶する傾向があり、実行が脆く、エラーから回復できないことが多い。これらの限界に対処するため、Appleの研究チームは、実際のiOSアプリ上でUIナビゲーションエージェントを直接訓練する新しいオンライン強化学習フレームワークを提案した。
このフレームワークの核心は、エージェントを2つの専門コンポーネントに分離することである。すなわち、高レベルな意思決定を担うプランニングエージェントと、計画された指示を具体的なUI要素にマッピングすることに特化したUIグラウンディングモデルである。効果的な訓練信号を提供するため、研究チームはLLM-as-a-Judgeメカニズムを採用し、中間進捗を評価する密なステップレベルフィードバックと、タスク全体の完了を測る終端報酬を組み合わせた包括的な報酬信号を生成する。
この二重の報酬構造を有効に活用するため、エージェントは近接方策最適化（PPO）とステップレベルアドバンテージ推定を用いて最適化される。さらに、チームはGiGPPOという新しい neighbor-conditioned 価値推定手法を導入した。これは、同時並行する軌跡間で視覚的に類似した状態から得られる報酬信号を活用することで、criticの安定性を向上させるものである。
このオンライン訓練パラダイムを大規模に支援するため、研究チームは数百の同時仮想iOSデバイスを統括する効率的なインフラを構築した。これにより、エージェントは静的なデータセットに依存することなく、実際のアプリ環境で大規模なオンライン学習を行うことが可能となる。
UINavBench、iOSWorld、AndroidWorldを含む厳格なベンチマークでの評価では、オンライン強化学習で訓練されたエージェントがSFTおよび終端報酬のみのRLベースラインを大幅に上回り、訓練の収束も加速することが示された。特筆すべきは、8BパラメータのRLエージェントが、Android環境への分布外汎化においてSFTベースラインに比べて約7倍の改善を達成し、実際のiOSアプリ上ではGemini-3.5-Flashを上回り、Gemini-3.1-Proと同等の性能を示したことである。
この研究は、UIナビゲーションエージェントの訓練にスケーラブルなオンライン学習アプローチを提供し、実際のモバイル環境で密な報酬と先進的な方策最適化技術を組み合わせる可能性を示している。論文はPeitong Duan*、Seyed Khashaiar Gatmiry*、Jeff Nichols、Emmanuel Abbe、Samy Bengioによって執筆され、最初の2名は同等の貢献をしている。