ANNEAL：通过受控符号补丁学习适应LLM代理
ANNEAL是一种神经符号代理，通过故障驱动知识获取（FDKA）机制，在不修改基础模型权重的情况下，将重复故障转化为过程知识图谱的受控符号编辑。在四个领域的测试中，ANNEAL将重复故障率降至0%，而基线方法如ReAct和Reflexion的故障率仍高达72-100%。
大型语言模型（LLM）代理在执行任务时能够从单个错误中恢复，但当底层的过程知识——如操作符模式、前置条件和约束——未被修复时，它们会反复在相同故障上失败。现有自进化方法通过更新提示、记忆或模型权重来解决这一问题，但未能直接修复编码任务执行方式的符号结构，且缺乏安全部署所需的治理保证。
为此，研究团队提出了ANNEAL，一种神经符号代理，其核心是故障驱动知识获取（FDKA）机制。FDKA首先定位导致重复故障的操作符，然后通过受限的LLM生成合成类型化补丁，并通过多维评分、符号护栏和金丝雀测试进行验证，最后提交补丁。每个接受的编辑都带有完整的来源和确定性回滚能力。
在四个领域（具体领域包括但不限于机器人任务规划、Web导航、工具使用和数据库查询）和27次多种子运行中，ANNEAL是唯一能够提交持久结构修复的系统。相比之下，强基线如ReAct和Reflexion虽然实现了高情境恢复率，但在重复故障上的保留故障率仍高达72-100%，而ANNEAL在测试的重复故障场景中将这一比例降至0%。消融实验证实，移除FDKA后，所有结构修复消失，成功率下降高达26.7个百分点。
这些结果表明，受控符号修复为持久消除故障提供了一种补充范式，与权重级和提示级适应方法相辅相成。ANNEAL的代码实现已在GitHub上开源，研究论文提交于2026年5月4日，并已被arXiv收录（ID: 2605.16309）。该工作为构建更可靠、可治理的LLM代理系统开辟了新的方向，尤其适用于需要长期自主运行且故障代价高昂的生产环境。