跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

从历史到状态:面向LLM代理的恒定上下文技能学习

文章摘要

本研究提出恒定上下文技能学习框架,将可重复使用的程序编码到轻量级任务族模块中,推理时仅依赖当前观测和紧凑状态块。在多个基准测试中表现优异,同时将每轮提示令牌减少2-7倍。

来源arXiv AI作者: Haoyang Xie, Xinyuan Wang, Yancheng Wang, Puda Zhao, Feng Ju
从历史到状态:面向LLM代理的恒定上下文技能学习
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)代理正越来越多地被用于操作浏览器、文件、代码和工具,这使得个人助理成为自然的部署目标。然而,个人代理面临着隐私、成本与能力之间的紧张关系:云端模型能够很好地执行多步骤工作流,但会将敏感的中间上下文暴露给外部API;而本地模型虽然保护了隐私,但可靠性较差。此外,两种场景都需要为冗长的技能提示和不断增长的历史记录反复付费,这在实际部署中是一个显著的经济负担。

针对这一问题,来自研究机构的研究人员提出了恒定上下文技能学习(Constant-Context Skill Learning)框架。这是一种新颖的上下文到权重转换方法,专门用于处理重复出现的代理工作流。其核心思想是:将可重复使用的程序学习为轻量级的任务族模块,而在推理时仅依赖于当前的观察结果和一个紧凑的状态块。这个状态块由一个确定性跟踪器根据任务进度动态生成,该跟踪器同时提供对齐的子目标奖励信号。这使得每个模块可以通过步骤级监督微调(SFT)进行训练,并进一步通过在线强化学习(RL)进行优化。

在实验部分,研究人员在三个具有代表性的基准测试上评估了该框架:ALFWorld(家居任务)、WebShop(在线购物)和SciWorld(科学实验)。他们使用了多种基础模型,包括Qwen3-4B、Qwen3-8B和Llama-3.1-8B。实验结果显示,该框架在所有模型上都取得了强劲的性能。以Qwen3-8B为例,结合SFT和RL的方法在ALFWorld上达到了89.6%的未见任务成功率,在WebShop上达到76.8%,在SciWorld上达到66.4%。这些结果不仅达到了已发表的最强代理训练结果,甚至有所超越。更重要的是,与受控的ReAct提示基线相比,每轮提示令牌数减少了2至7倍,这充分说明过程性上下文可以从提示中转移到模型权重中,从而大幅降低成本。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出恒定上下文技能学习框架,将上下文转移到模型权重中
  • 使用确定性跟踪器生成状态块和子目标奖励
  • 在ALFWorld、WebShop、SciWorld上实现强性能
  • 显著减少提示令牌使用量

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。