Weblica：為視覺網頁智慧體打造可擴充套件且可復現的訓練環境

蘋果機器學習研究團隊近期釋出了 Weblica（Web Replica）框架，旨在解決視覺網頁智慧體訓練資料規模受限的核心難題。當前主流方法要麼依賴離線軌跡進行監督微調，要麼使用少量模擬環境進行強化學習訓練，但這些方法無法覆蓋現實網頁的複雜性與多樣性。Weblica 透過兩大關鍵技術突破這一瓶頸：一是 HTTP 級快取，用於捕獲並重放穩定的視覺狀態，同時保留網頁的互動行為；二是基於大語言模型（LLM）的環境合成，以真實網站和核心導航技能為基礎，自動生成多樣化的訓練環境。該框架成功將強化學習訓練擴充套件到數千個不同的環境和任務，顯著提升了訓練的覆蓋範圍與效率。

基於 Weblica 訓練的最佳模型 Weblica-8B，在多個網頁導航基準測試中表現優異。與同規模的開源模型相比，它不僅取得了更高的任務完成率，而且推理步數更少，計算效率更高。值得注意的是，該模型還能隨著測試時計算量的增加而進一步提升效能，展現出與 API 級模型競爭的實力。

同一研究頁面還介紹了另一項重要工作“重述網頁”（Rephrasing the Web）。該研究指出，當前大語言模型訓練依賴海量網路資料，但這些資料往往結構鬆散、噪聲大、表述不佳。傳統的縮放定律表明，學習這類資料需要大量的計算資源和資料，隨著模型規模增長，這一需求變得不可持續。為此，研究團隊提出透過自動重述（即對原始文本進行改寫）來提升資料質量，從而在模型規模不變的情況下提高訓練效率和效能。該論文已被 ACL 2024 和 ICLR 2024 研討會接收。

兩項研究共同體現了蘋果在提升 AI 訓練效率與可擴充套件性方面的持續探索，既關注智慧體訓練環境構建，也注重基礎資料質量的最佳化，為未來更高效、更可靠的 AI 系統奠定了基礎。