跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

從歷史到狀態:面向LLM代理的恆定上下文技能學習

文章摘要

本研究提出恆定上下文技能學習框架,將可重複使用的程式編碼到輕量級任務族模組中,推理時僅依賴當前觀測和緊湊狀態塊。在多個基準測試中表現優異,同時將每輪提示令牌減少2-7倍。

來源arXiv AI作者: Haoyang Xie, Xinyuan Wang, Yancheng Wang, Puda Zhao, Feng Ju
從歷史到狀態:面向LLM代理的恆定上下文技能學習
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)代理正越來越多地被用於操作瀏覽器、檔案、程式碼和工具,這使得個人助理成為自然的部署目標。然而,個人代理面臨著隱私、成本與能力之間的緊張關係:雲端模型能夠很好地執行多步驟工作流,但會將敏感的中間上下文暴露給外部API;而本地模型雖然保護了隱私,但可靠性較差。此外,兩種場景都需要為冗長的技能提示和不斷增長的歷史記錄反覆付費,這在實際部署中是一個顯著的經濟負擔。

針對這一問題,來自研究機構的研究人員提出了恆定上下文技能學習(Constant-Context Skill Learning)框架。這是一種新穎的上下文到權重轉換方法,專門用於處理重複出現的代理工作流。其核心思想是:將可重複使用的程式學習為輕量級的任務族模組,而在推理時僅依賴於當前的觀察結果和一個緊湊的狀態塊。這個狀態塊由一個確定性跟蹤器根據任務進度動態生成,該跟蹤器同時提供對齊的子目標獎勵訊號。這使得每個模組可以透過步驟級監督微調(SFT)進行訓練,並進一步透過線上強化學習(RL)進行最佳化。

在實驗部分,研究人員在三個具有代表性的基準測試上評估了該框架:ALFWorld(家居任務)、WebShop(線上購物)和SciWorld(科學實驗)。他們使用了多種基礎模型,包括Qwen3-4B、Qwen3-8B和Llama-3.1-8B。實驗結果顯示,該框架在所有模型上都取得了強勁的效能。以Qwen3-8B為例,結合SFT和RL的方法在ALFWorld上達到了89.6%的未見任務成功率,在WebShop上達到76.8%,在SciWorld上達到66.4%。這些結果不僅達到了已發表的最強代理訓練結果,甚至有所超越。更重要的是,與受控的ReAct提示基線相比,每輪提示令牌數減少了2至7倍,這充分說明過程性上下文可以從提示中轉移到模型權重中,從而大幅降低成本。

展開要點與分析

文章情報

工程師進階

要點

  • 提出恆定上下文技能學習框架,將上下文轉移到模型權重中
  • 使用確定性跟蹤器生成狀態塊和子目標獎勵
  • 在ALFWorld、WebShop、SciWorld上實現強效能
  • 顯著減少提示令牌使用量

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。