装备更新并不等于装备收益：解构自进化LLM代理中的进化能力
LLM代理通过更新外部装备（如提示、技能、记忆和工具）来适应任务，但模型的基础任务解决能力是否能预测其装备自我进化能力尚不明确。研究发现，装备更新能力与基础能力无关，而装备收益能力则呈现非单调性：中等模型受益最大，弱模型和强模型受益较少。建议将能力预算投入任务解决代理而非进化器，并注重装备调用和长程指令遵循的训练。
大型语言模型（LLM）代理正越来越多地部署在可编辑的外部装备之上，这些装备包括提示词、技能、记忆和工具，它们在不改变模型参数的前提下塑造任务执行。装备的自我进化机制通过从执行证据中更新这些装备来使代理适应环境。然而，一个关键问题仍未解决：模型在基础任务求解中的能力是否能够预测其在装备自我进化中的表现？哪些模型能够产出有用的装备更新，而哪些模型又能真正从这些更新中受益？
为了回答这个问题，本文分析了两种装备自我进化能力：其一是装备更新能力，即从执行证据中生成有用且持久的装备更新的能力；其二是装备收益能力，即在任务求解过程中从更新后的装备中获益的能力。研究通过系统的实验揭示了两个重要发现。
首先，装备更新能力在不同基础能力的模型之间表现平坦：不同能力层级的模型所生成的装备更新带来了惊人的相似增益。即便是较小的模型，如Qwen3.5-9B，其更新所带来的性能提升也能与顶级模型Claude Opus 4.6相媲美。这表明，产生有效装备更新的能力并不依赖于模型本身的规模或能力水平。
其次，装备收益能力在基础能力上呈现出非单调性。弱能力层级的模型从更新装备中获益甚微，中等能力层级的模型获益最大，而强能力层级的模型获益反而低于中等模型。研究将弱模型的低收益归因于两种失败模式：弱模型可能无法激活相关的装备工件，或者虽然激活了工件却无法忠实地遵循其指引。
基于这些发现，该研究建议将能力预算更多地投入到任务求解代理本身而非进化器上，并在代理训练中重点强化装备调用和长程指令遵循的能力。研究团队已将源代码公开在GitHub上，供社区进一步探索。