自动研究：自我改进代理背后的反馈循环

在最近的AI Engineer World's Fair上，Introspection公司的联合创始人兼CEO Roland Gavrilescu详细介绍了自动研究（autoresearch）这一概念。自动研究指的是构建一个“外循环”，使代理能够通过反馈信号、评估和人类输入来维护和改进主系统。Gavrilescu此前在xAI从事代理基础设施和云代理工作，并与联合创始人Julian Bright共同创立了Introspection，旨在为部署这些自我改进系统提供基础设施。

Gavrilescu在演讲中提出了三个关键模式。首先，“循环即产品”——从模型到工具再到循环的转变，关键在于定义正确的反馈机制，使代理能够承担更多工作而不产生劣质输出。其次，循环生成的内容需要被跟踪，他引入了“代理配方”的概念。配方类似于数据配方，它描述了代理如何与不同模型协作、使用的评估方法、创建的人类判断标准以及失败后新评估的引入。配方捕捉了整个决策过程，包括失败和错误，使得系统可以在不依赖单一供应商的情况下迭代。第三，系统应同时追求更好和更便宜，逐步将前沿模型的能力蒸馏到定制化的自有系统中。

Gavrilescu将系统分为内循环和外循环。内循环是主系统与用户交互并执行工作，而自动研究更关注外循环，即研究和维护主系统的另一个系统。外循环的设计需要确保在合理的token消耗下解决正确的问题。他将开源框架Pi比作代理工具中的Linux，而Introspection则类似Red Hat，提供企业级的管理和扩展能力。

在生产环境中，可靠性和成本控制是关键。Introspection专注于提供管理基础设施，帮助企业在保持安全和控制成本的同时运行代理循环。人类在循环中扮演重要角色，尤其是在初期。代理可以通过“询问人类”工具学习人类偏好，随着时间推移积累知识，逐渐变得更加自主。Gavrilescu类比新员工入职：初期需要大量询问，随后独立决策。

当前，Introspection主要面向垂直SaaS公司的软件工程师。代理的工作环境基于Git，Git作为审计日志记录所有变更。未来计划支持产品经理等角色。他认为，设计循环本质上是设计软件工厂，但其自主程度需逐步提升。初期应将人类作为核心组件，从人类身上提取隐性知识和流程，而不是一开始就追求完全自动化。

对于希望尝试自动研究的工程师，Gavrilescu建议首先投资于信号——明确想让代理响应的内容，并过滤掉低价值反馈。其次要控制成本，避免意外的token消耗。最后，跟踪前沿研究，理解研究实验室如何使用数据配方，并将其应用到自己的产品中。最终目标是让产品组织变成微型研究实验室，代理则充当微型研究员。