自改进代理通常会从自己运行的结果中总结"经验教训",以便在未来的任务中做得更好。然而,当结果本身带有噪声时,这些经验教训可能把偶然性——而不是真正的因果规律——编码进记忆,并影响代理的下一次决策。Kazuki Nakayashiki 的注册研究《Lessons from Luck》系统性地测量了这条链条中的一个环节:LLM 撰写的经验教训是否会将偶然结果携带到后续决策中。
研究设计使用了 256 个合成世界。每个世界都是一个重复出现的任务,配有两个可互换的工具,并记录了它们各自的可靠性。在脚本化的"上一次运行"中,代理要么使用了更可靠的工具(好决策),要么使用了较差的工具(坏决策),然后被赋予一个结果:成功或一次暂时性失败。随后,一个模型按照 ReasoningBank 的记忆写入指令,根据这次运行写出一条经验教训。接着,同一个模型的一个全新会话在持有权威日志和上一次结果的情况下,凭借一条记忆项目来选择下一次运行的第一个工具。这个记忆项目可能是:那条经验教训、另一结果对应的经验教训、一个无关项目,或一条未经推理的指令。
该协议在确认性调用之前就已冻结、存档并加盖时间戳,确保了研究的预注册性质。11 个 LLM 端点总共产生了 90,084 个答案。核心发现是:在更好的工具遭遇一次偶然失败后,面板中的经验教训确实携带了偶然性(注册解读为"携带运气";交互效应 +0.112,95% 区间 [+0.097, +0.126])。具体而言,当读者看到的是由那次失败写成的经验教训时,他们在 11.6% 的下一次运行中选择了更差的工具;而使用无关项目或由成功写成的经验教训时,这一比例仅为 0.4%。
效应的大小受到日志内容的调节。当日志明确说明失败是独立的时候,效应为 +0.042;当日志没有说明这一点时,效应为 +0.181(描述性结果)。这表明,上下文中的因果信息可以部分缓解"运气"的传递。另一方面,在较差的工具侥幸成功之后,交互效应被限制在 0.10 以下(+0.002),但作者强调这是一个上界,而不是无害的证据。
探索性分析显示,在 6 个端点上观察到了携带运气的现象(最高达 +0.352),而另外 5 个端点则被限制在 0.10 以下。在次要比较中,作者尝试了干预措施:在写作指令中加入三句关于决策质量的说明,可将偶然失败后选择更差工具的比例降至 7.5%;而针对两种结果使用一条指令并附带"不改变"选项,可将比例降至 3.1%。然而,这两种干预都没有在每个此类端点上满足预先注册的减害规则。
这项研究的意义在于,它首次以注册研究的方式量化了 LLM 生成的经验教训如何将随机性带入代理的决策循环。它提醒我们,在构建自改进代理时,仅仅让代理从经验中学习是不够的;还需要确保经验教训能够区分真正的因果信号与偶然噪声。作者公开了协议、代码、刺激材料以及锁定的运行记录,为后续研究提供了可复现的基础。