大型语言模型(LLM)代理正越来越多地被用于操作浏览器、文件、代码和工具,这使得个人助理成为自然的部署目标。然而,个人代理面临着隐私、成本与能力之间的紧张关系:云端模型能够很好地执行多步骤工作流,但会将敏感的中间上下文暴露给外部API;而本地模型虽然保护了隐私,但可靠性较差。此外,两种场景都需要为冗长的技能提示和不断增长的历史记录反复付费,这在实际部署中是一个显著的经济负担。
针对这一问题,来自研究机构的研究人员提出了恒定上下文技能学习(Constant-Context Skill Learning)框架。这是一种新颖的上下文到权重转换方法,专门用于处理重复出现的代理工作流。其核心思想是:将可重复使用的程序学习为轻量级的任务族模块,而在推理时仅依赖于当前的观察结果和一个紧凑的状态块。这个状态块由一个确定性跟踪器根据任务进度动态生成,该跟踪器同时提供对齐的子目标奖励信号。这使得每个模块可以通过步骤级监督微调(SFT)进行训练,并进一步通过在线强化学习(RL)进行优化。
在实验部分,研究人员在三个具有代表性的基准测试上评估了该框架:ALFWorld(家居任务)、WebShop(在线购物)和SciWorld(科学实验)。他们使用了多种基础模型,包括Qwen3-4B、Qwen3-8B和Llama-3.1-8B。实验结果显示,该框架在所有模型上都取得了强劲的性能。以Qwen3-8B为例,结合SFT和RL的方法在ALFWorld上达到了89.6%的未见任务成功率,在WebShop上达到76.8%,在SciWorld上达到66.4%。这些结果不仅达到了已发表的最强代理训练结果,甚至有所超越。更重要的是,与受控的ReAct提示基线相比,每轮提示令牌数减少了2至7倍,这充分说明过程性上下文可以从提示中转移到模型权重中,从而大幅降低成本。