近年来,基于大语言模型(LLM)的智能体系统越来越多地采用可编辑的外部harness来组织任务执行,这些harness包括提示词、技能库、记忆模块和工具集等。它们不改变模型参数,却能显著影响智能体的行为。Harness自进化是指智能体根据执行过程中积累的证据,自动更新这些外部组件,从而适应新任务或提升性能。然而,一个关键问题尚未得到充分解答:模型在任务求解上的基础能力,能否预测其在harness自进化中的表现?换句话说,哪些模型能产生有用的harness更新,哪些模型又能真正从这些更新中受益?
为了回答这个问题,一篇新论文将harness自进化拆解为两种可分别评估的能力。第一种是harness-updating,即模型从执行证据中生成持久、有用的harness更新的能力。第二种是harness-benefit,即模型在任务求解过程中利用更新后的harness获益的能力。研究团队通过实验对多种不同能力层级的模型进行了系统分析,并得出了两个主要发现。
第一个发现是,harness-updating能力在不同基础能力层级的模型之间表现出惊人的平坦性。也就是说,来自不同能力梯队的模型所生成的harness更新,带来的性能提升非常相似。即使是Qwen3.5-9B这样相对较小的模型,其更新效果也与Claude Opus 4.6等强模型相当。这表明,产生有用的harness更新并不需要极强的任务求解基础能力,弱模型同样可以胜任进化器的角色。
第二个发现则更为复杂:harness-benefit与基础能力之间呈现非单调关系。弱模型从更新后的harness中获益很少,中等能力的模型获益最多,而强模型的获益反而低于中等模型。研究团队进一步分析了弱模型获益低的原因,归结为两种失败模式:其一,弱模型可能无法激活相关的harness工件;其二,弱模型虽然激活了工件,却无法忠实地遵循其指导。
这些发现对智能体系统的设计具有重要启示。首先,与其将大量能力预算投入到进化器模型上,不如将资源集中于提升任务求解智能体本身的基础能力。因为进化器的产出质量在不同模型间差异不大,而任务求解智能体的能力直接决定了其能否有效利用这些更新。其次,在智能体训练中应特别关注harness调用和长程指令遵循能力,这两者正是弱模型的主要瓶颈所在。
该论文已被arXiv收录,编号为2605.30621,提交于2026年5月28日,共24页,包含9幅图和12个表格。作者为Minhua Lin等17人。论文的源代码已在GitHub上公开,仓库路径为A-EVO-Lab/a-evolve下的release/harness-evolution分支,供社区复现和进一步研究。