現代代理系統中的自我改進：一項綜述
本文綜述了自我改進型自主代理的研究進展，提出了一個系統級框架，將現代代理視為基礎模型與操作支架（包括提示、記憶、工具和控制邏輯）的耦合。在此框架下，自我改進被形式化為一種自我驅動的更新算子，可更新模型參數或支架組件。文章按更新目標和驅動信號對現有工作進行分類，並討論了應用、評估以及未來方向。
近年來，具備自我改進能力的自主代理正逐步從研究原型走向實際部署。這類系統的核心目標是實現可控的進化，即系統能夠通過經驗自適應地提升自身能力，且在此過程中極少甚至不需要人類干預。一篇發表於arXiv的最新綜述（論文ID：2607.13104）對這一領域進行了全面梳理，提出一個統一的系統級框架，將現代代理視為基礎模型與操作支架的緊密結合體。該綜述由Zhe Ren等12位作者共同完成，共97頁，包含12張圖表，並提供了GitHub倉庫（https://github.com/selfimproving-agent/awesome-Self-Improving-Agents）用於跟蹤最新技術進展。
該綜述指出，一個典型的現代代理由兩部分構成：一是作為核心推理能力來源的基礎模型（如大型語言模型），二是圍繞該模型構建的操作支架，包括提示模板、記憶模塊、外部工具接口和控制邏輯。自我改進在這個框架中被形式化為“自我驅動的更新算子”，該算子能夠觀察當前配置、環境反饋和自身表現，然後生成並提交對模型參數或支架組件的更新。這一形式化定義使得自我改進過程變得可描述、可分析、可比較。
作者按照更新目標（模型參數、支架組件或兩者兼有）以及驅動改進的信號（內部反饋、外部獎勵、自我評估等）對已有研究進行了系統分類。在模型參數更新方面，相關工作包括通過強化學習微調、在線學習更新權重、利用自我生成的數據進行訓練等。在支架組件更新方面，研究涉及提示優化、記憶結構動態調整、工具調用策略改進等。此外，還有一些工作同時更新兩者，形成更完整的自適應系統。
在應用方面，文章探討了自我改進代理在代碼生成、機器人控制、對話系統等領域的潛力。例如，在代碼生成任務中，代理可以根據執行反饋自動修正代碼；在機器人控制中，代理可以通過試錯調整行動策略。然而，當前的評估方法存在侷限性，大多侷限於特定環境或任務，缺乏通用性和可比較性。
最後，綜述指出了若干開放問題。首先，如何確保改進過程的可控性與安全性，避免代理產生有害行為或偏離原始目標。其次，如何防止能力退化或目標漂移，即代理在自我改進的過程中保持原有能力並避免偏離初衷。第三，如何跨任務泛化自我改進能力，使得代理學到的改進策略可以應用於不同場景。此外，還討論了可解釋性、計算效率、與人類價值觀對齊等挑戰。該綜述不僅總結了現狀，也為未來研究提供了明確的方向。