Weblica：ビジュアルWebエージェントのためのスケーラブルで再現可能なトレーニング環境

Apple機械学習研究チームは、ビジュアルWebエージェント向けのトレーニング環境を拡張する新フレームワーク「Weblica（Web Replica）」を発表しました。従来の手法はオフラインの軌跡や限られたシミュレーション環境に依存しており、Webの多様性を捉えきれていませんでした。Weblicaは、HTTPレベルキャッシュを用いて安定した視覚状態をキャプチャし、インタラクティブな動作を保持しながら再生するとともに、LLMベースの環境合成により実世界のWebサイトとコアナビゲーションスキルに基づいた多様な環境を自動生成します。これにより、強化学習トレーニングを数千の環境とタスクにスケール可能にしました。

Weblicaでトレーニングされた最良モデル「Weblica-8B」は、複数のWebナビゲーションベンチマークにおいて、同規模のオープンウェイトモデルを上回る性能を示しました。特に、推論ステップ数が少なく、テスト時計算量の増加に伴い性能が向上するスケーラビリティを持ち、APIモデルに匹敵する結果を達成しています。

同じ研究ページでは、関連研究「Rephrasing the Web」も紹介されています。大規模言語モデルのトレーニングデータはWebから収集されますが、構造化されておらずノイズが多いため、従来のスケーリング則では膨大な計算リソースとデータが必要です。この研究では、自動言い換えによりデータ品質を高めることで、モデル規模を変えずにトレーニング効率を改善する手法を提案しています。本論文はACL 2024およびICLR 2024ワークショップで採択されました。

これらの研究は、AIトレーニングの効率性と拡張性の向上に向けたAppleの取り組みを示しており、エージェントトレーニング環境の構築から基礎データの品質最適化までをカバーしています。