现代代理系统中的自我改进：一项综述
本文综述了自我改进型自主代理的研究进展，提出了一个系统级框架，将现代代理视为基础模型与操作支架（包括提示、记忆、工具和控制逻辑）的耦合。在此框架下，自我改进被形式化为一种自我驱动的更新算子，可更新模型参数或支架组件。文章按更新目标和驱动信号对现有工作进行分类，并讨论了应用、评估以及未来方向。
近年来，具备自我改进能力的自主代理正逐步从研究原型走向实际部署。这类系统的核心目标是实现可控的进化，即系统能够通过经验自适应地提升自身能力，且在此过程中极少甚至不需要人类干预。一篇发表于arXiv的最新综述（论文ID：2607.13104）对这一领域进行了全面梳理，提出一个统一的系统级框架，将现代代理视为基础模型与操作支架的紧密结合体。该综述由Zhe Ren等12位作者共同完成，共97页，包含12张图表，并提供了GitHub仓库（https://github.com/selfimproving-agent/awesome-Self-Improving-Agents）用于跟踪最新技术进展。
该综述指出，一个典型的现代代理由两部分构成：一是作为核心推理能力来源的基础模型（如大型语言模型），二是围绕该模型构建的操作支架，包括提示模板、记忆模块、外部工具接口和控制逻辑。自我改进在这个框架中被形式化为“自我驱动的更新算子”，该算子能够观察当前配置、环境反馈和自身表现，然后生成并提交对模型参数或支架组件的更新。这一形式化定义使得自我改进过程变得可描述、可分析、可比较。
作者按照更新目标（模型参数、支架组件或两者兼有）以及驱动改进的信号（内部反馈、外部奖励、自我评估等）对已有研究进行了系统分类。在模型参数更新方面，相关工作包括通过强化学习微调、在线学习更新权重、利用自我生成的数据进行训练等。在支架组件更新方面，研究涉及提示优化、记忆结构动态调整、工具调用策略改进等。此外，还有一些工作同时更新两者，形成更完整的自适应系统。
在应用方面，文章探讨了自我改进代理在代码生成、机器人控制、对话系统等领域的潜力。例如，在代码生成任务中，代理可以根据执行反馈自动修正代码；在机器人控制中，代理可以通过试错调整行动策略。然而，当前的评估方法存在局限性，大多局限于特定环境或任务，缺乏通用性和可比较性。
最后，综述指出了若干开放问题。首先，如何确保改进过程的可控性与安全性，避免代理产生有害行为或偏离原始目标。其次，如何防止能力退化或目标漂移，即代理在自我改进的过程中保持原有能力并避免偏离初衷。第三，如何跨任务泛化自我改进能力，使得代理学到的改进策略可以应用于不同场景。此外，还讨论了可解释性、计算效率、与人类价值观对齐等挑战。该综述不仅总结了现状，也为未来研究提供了明确的方向。