大型語言模型(LLM)代理正越來越多地被用於操作瀏覽器、檔案、程式碼和工具,這使得個人助理成為自然的部署目標。然而,個人代理面臨著隱私、成本與能力之間的緊張關係:雲端模型能夠很好地執行多步驟工作流,但會將敏感的中間上下文暴露給外部API;而本地模型雖然保護了隱私,但可靠性較差。此外,兩種場景都需要為冗長的技能提示和不斷增長的歷史記錄反覆付費,這在實際部署中是一個顯著的經濟負擔。
針對這一問題,來自研究機構的研究人員提出了恆定上下文技能學習(Constant-Context Skill Learning)框架。這是一種新穎的上下文到權重轉換方法,專門用於處理重複出現的代理工作流。其核心思想是:將可重複使用的程式學習為輕量級的任務族模組,而在推理時僅依賴於當前的觀察結果和一個緊湊的狀態塊。這個狀態塊由一個確定性跟蹤器根據任務進度動態生成,該跟蹤器同時提供對齊的子目標獎勵訊號。這使得每個模組可以透過步驟級監督微調(SFT)進行訓練,並進一步透過線上強化學習(RL)進行最佳化。
在實驗部分,研究人員在三個具有代表性的基準測試上評估了該框架:ALFWorld(家居任務)、WebShop(線上購物)和SciWorld(科學實驗)。他們使用了多種基礎模型,包括Qwen3-4B、Qwen3-8B和Llama-3.1-8B。實驗結果顯示,該框架在所有模型上都取得了強勁的效能。以Qwen3-8B為例,結合SFT和RL的方法在ALFWorld上達到了89.6%的未見任務成功率,在WebShop上達到76.8%,在SciWorld上達到66.4%。這些結果不僅達到了已發表的最強代理訓練結果,甚至有所超越。更重要的是,與受控的ReAct提示基線相比,每輪提示令牌數減少了2至7倍,這充分說明過程性上下文可以從提示中轉移到模型權重中,從而大幅降低成本。