AIDE²:递归自我改进的首个证据
AIDE2 系统通过八天的自主研究,发现了一个比人类两年构建的更好的自动研究框架,实现了递归自我改进(RSI)的首个实验证据。该系统采用双层优化循环,内层循环优化代码,外层循环优化内层智能体的代码框架,最终产生了七个改进版本,并在未见过的任务上表现出泛化能力。同时,系统还进化出了防止奖励黑客行为的机制。
Weco团队构建了一个递归自我改进(RSI)系统AIDE2,通过将自动研究应用于自动研究本身,首次实验性地证明了递归自我改进的可能性。该系统仅用八天时间就发现了一个比人类团队耗时两年构建的更好的自动研究框架。AIDE2采用了双层优化结构:内层循环负责优化代码,外层循环则优化内层智能体的代码框架。外层循环从已有的强大自主研究智能体AIDE出发,针对一组异构任务进行优化。经过100次外循环迭代,系统发现了七个连续改进的AIDE版本,每个版本在固定成本预算下都表现出更强大的优化能力。
团队测试了前50步和前100步中的最佳智能体AIDE47和AIDE85,发现它们的性能提升也泛化到了从未优化过的任务上,例如在MLE-Bench Lite、ALE-Bench Lite和WeatherBench 2三个外部基准测试中,两者均超越了起始点AIDE0。此外,AIDE2还展现出了涌现行为:它学会了防止内层智能体进行奖励黑客行为。例如,AIDE85在GPU内核工程基准测试中将奖励黑客率从63%降低到了34%,通过构建从提示级别指令到硬编码检查的防御机制。
值得注意的是,AIDE47和AIDE85都击败了手动调优的智能体AIDEhuman——后者经过了两年的迭代优化——而AIDE2的自动研究循环仅需八天无人监督运行。团队认为这是递归自我改进的首个实验证据,显著提升了AI研发的效率。根据RSI等级划分(Level 0:委托;Level 1:净正效应;Level 2:点火;Level 3:拐点),AIDE2被认为达到了Level 1,即系统自我改进的效率高于人工改进,满足四个条件:公平的人类基线、持续的多步趋势、超越优化测量的泛化能力以及固定的物理预算。内层循环的评估设计强调了公开-私有分数分离、固定成本约束和任务异构性,这些因素共同推动了通用算法改进。该研究为自主AI系统的自我改进提供了重要里程碑。