大语言模型智能体在不更新模型参数的前提下,可以通过执行经验持续改进,这类方法通常被称为harness自我进化。其效果高度依赖一个前提:模型能否真正按照harness给出的指导行动。来自arXiv的一篇新论文由Zhihao Yang等十位作者完成,指出这一前提并不总成立,harness带来的收益会随模型能力不同而显著分化。
研究团队在七个模型和三个基准上进行了系统测试,共找出103个任务与技能的组合,这些技能对能力较强的GPT-5.6-luna平均带来31.1分的提升,却让较弱的Gemma-4-E4B下降8.8分。更值得关注的是失败原因:在弱模型失败的运行中,有86%的情况所违反的要求其实已经明确写在技能文本里。也就是说,问题并非信息缺失,而是这些指导对弱模型来说难以转化为可执行的步骤。
基于这一观察,作者提出“技能适配”这一思路:不改变任务目标,而是重新表述既有技能,使指导与执行者自身的能力相匹配、更易落地。为此,他们先在工具调用、上下文管理、指令遵循和结果验证四个维度上诊断失败模式,再把这些诊断提炼成一个固定的元技能,用于在harness自我进化过程中指导技能改写。
实验显示,在元技能的引导下,一个能力较强的外部改写器Kimi-K3即使不接触任何执行证据,也能完成技能适配。经其改写后的技能使三个较弱的执行器相比原始技能提升5.1至14.1分,说明适配本身就能带来可观收益,而不必依赖反复试错。
作者进一步把适配嵌入五轮自我进化循环:每一轮中,模型依据自己的执行轨迹与验证器反馈修订自身技能。覆盖从Gemma-4-E4B到Kimi-K2.5的七个执行器,加入元技能后最终得分比不使用元技能的同一循环稳定高出2.0至5.1分。
论文认为,这些结果为设计更有效的harness自我进化方法提供了实用指引:技能设计不能假设所有执行器具备同等能力,而应把“让指导可被执行”作为进化的核心目标之一。该论文共24页,含12幅图和4张表,属于机器学习、人工智能与计算语言学期刊分类,于2026年10月10日提交至arXiv。