跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Harness更新不等于Harness收益:解耦自进化LLM智能体的进化能力

文章摘要

一篇新论文区分了LLM智能体的两种harness自进化能力:生成有用harness更新的能力(harness-updating)与从更新中获益的能力(harness-benefit)。研究发现前者在不同基础能力层级上表现平坦,后者则呈非单调关系:弱模型获益少,中等模型获益最多,强模型不如中等模型。

来源arXiv AI作者: Minhua Lin, Juncheng Wu, Zijun Wang, Zhan Shi, Yisi Sang, Bing He, Zewen Liu, Tianxin Wei, Zongyu Wu, Zhiwei Zhang, Dakuo Wang, Xiang Zhang, Benoit Dumoulin, Cihang Xie, Yuyin Zhou, Suhang Wang, Hanqing Lu
Harness更新不等于Harness收益:解耦自进化LLM智能体的进化能力
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近年来,基于大语言模型(LLM)的智能体系统越来越多地采用可编辑的外部harness来组织任务执行,这些harness包括提示词、技能库、记忆模块和工具集等。它们不改变模型参数,却能显著影响智能体的行为。Harness自进化是指智能体根据执行过程中积累的证据,自动更新这些外部组件,从而适应新任务或提升性能。然而,一个关键问题尚未得到充分解答:模型在任务求解上的基础能力,能否预测其在harness自进化中的表现?换句话说,哪些模型能产生有用的harness更新,哪些模型又能真正从这些更新中受益?

为了回答这个问题,一篇新论文将harness自进化拆解为两种可分别评估的能力。第一种是harness-updating,即模型从执行证据中生成持久、有用的harness更新的能力。第二种是harness-benefit,即模型在任务求解过程中利用更新后的harness获益的能力。研究团队通过实验对多种不同能力层级的模型进行了系统分析,并得出了两个主要发现。

第一个发现是,harness-updating能力在不同基础能力层级的模型之间表现出惊人的平坦性。也就是说,来自不同能力梯队的模型所生成的harness更新,带来的性能提升非常相似。即使是Qwen3.5-9B这样相对较小的模型,其更新效果也与Claude Opus 4.6等强模型相当。这表明,产生有用的harness更新并不需要极强的任务求解基础能力,弱模型同样可以胜任进化器的角色。

第二个发现则更为复杂:harness-benefit与基础能力之间呈现非单调关系。弱模型从更新后的harness中获益很少,中等能力的模型获益最多,而强模型的获益反而低于中等模型。研究团队进一步分析了弱模型获益低的原因,归结为两种失败模式:其一,弱模型可能无法激活相关的harness工件;其二,弱模型虽然激活了工件,却无法忠实地遵循其指导。

这些发现对智能体系统的设计具有重要启示。首先,与其将大量能力预算投入到进化器模型上,不如将资源集中于提升任务求解智能体本身的基础能力。因为进化器的产出质量在不同模型间差异不大,而任务求解智能体的能力直接决定了其能否有效利用这些更新。其次,在智能体训练中应特别关注harness调用和长程指令遵循能力,这两者正是弱模型的主要瓶颈所在。

该论文已被arXiv收录,编号为2605.30621,提交于2026年5月28日,共24页,包含9幅图和12个表格。作者为Minhua Lin等17人。论文的源代码已在GitHub上公开,仓库路径为A-EVO-Lab/a-evolve下的release/harness-evolution分支,供社区复现和进一步研究。

展开要点与分析

文章情报

工程师进阶

要点

  • Harness-updating能力在不同基础模型层级间差异不大,弱模型也能产生与强模型相当的更新。
  • Harness-benefit呈非单调:中等能力模型获益最大,弱模型因激活或遵循失败而获益有限。
  • 建议将能力预算投入任务求解智能体而非进化器,并关注harness调用与长程指令遵循训练。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。