跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

裝備更新並不等於裝備收益:解構自進化LLM代理中的進化能力

文章摘要

LLM代理通過更新外部裝備(如提示、技能、記憶和工具)來適應任務,但模型的基礎任務解決能力是否能預測其裝備自我進化能力尚不明確。研究發現,裝備更新能力與基礎能力無關,而裝備收益能力則呈現非單調性:中等模型受益最大,弱模型和強模型受益較少。建議將能力預算投入任務解決代理而非進化器,並注重裝備調用和長程指令遵循的訓練。

來源arXiv AI作者: Minhua Lin, Juncheng Wu, Zijun Wang, Zhan Shi, Yisi Sang, Bing He, Zewen Liu, Tianxin Wei, Zongyu Wu, Zhiwei Zhang, Dakuo Wang, Xiang Zhang, Benoit Dumoulin, Cihang Xie, Yuyin Zhou, Suhang Wang, Hanqing Lu
裝備更新並不等於裝備收益:解構自進化LLM代理中的進化能力
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)代理正越來越多地部署在可編輯的外部裝備之上,這些裝備包括提示詞、技能、記憶和工具,它們在不改變模型參數的前提下塑造任務執行。裝備的自我進化機制通過從執行證據中更新這些裝備來使代理適應環境。然而,一個關鍵問題仍未解決:模型在基礎任務求解中的能力是否能夠預測其在裝備自我進化中的表現?哪些模型能夠產出有用的裝備更新,而哪些模型又能真正從這些更新中受益?

為了回答這個問題,本文分析了兩種裝備自我進化能力:其一是裝備更新能力,即從執行證據中生成有用且持久的裝備更新的能力;其二是裝備收益能力,即在任務求解過程中從更新後的裝備中獲益的能力。研究通過系統的實驗揭示了兩個重要發現。

首先,裝備更新能力在不同基礎能力的模型之間表現平坦:不同能力層級的模型所生成的裝備更新帶來了驚人的相似增益。即便是較小的模型,如Qwen3.5-9B,其更新所帶來的性能提升也能與頂級模型Claude Opus 4.6相媲美。這表明,產生有效裝備更新的能力並不依賴於模型本身的規模或能力水平。

其次,裝備收益能力在基礎能力上呈現出非單調性。弱能力層級的模型從更新裝備中獲益甚微,中等能力層級的模型獲益最大,而強能力層級的模型獲益反而低於中等模型。研究將弱模型的低收益歸因於兩種失敗模式:弱模型可能無法激活相關的裝備工件,或者雖然激活了工件卻無法忠實地遵循其指引。

基於這些發現,該研究建議將能力預算更多地投入到任務求解代理本身而非進化器上,並在代理訓練中重點強化裝備調用和長程指令遵循的能力。研究團隊已將源代碼公開在GitHub上,供社區進一步探索。

展開要點與分析

文章情報

工程師進階

要點

  • 裝備更新能力在不同基礎能力的模型中表現平坦,甚至小模型也能產生與頂級模型相當的收益。
  • 裝備收益能力非單調:弱模型受益小,中模型受益最大,強模型受益小於中模型。
  • 弱模型失敗模式包括無法激活裝備或激活後無法忠實遵循。
  • 建議資源集中於任務解決代理,並在訓練中強調裝備調用和長程指令遵循。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。