Weco團隊構建了一個遞歸自我改進(RSI)系統AIDE2,通過將自動研究應用於自動研究本身,首次實驗性地證明了遞歸自我改進的可能性。該系統僅用八天時間就發現了一個比人類團隊耗時兩年構建的更好的自動研究框架。AIDE2採用了雙層優化結構:內層循環負責優化代碼,外層循環則優化內層智能體的代碼框架。外層循環從已有的強大自主研究智能體AIDE出發,針對一組異構任務進行優化。經過100次外循環迭代,系統發現了七個連續改進的AIDE版本,每個版本在固定成本預算下都表現出更強大的優化能力。
團隊測試了前50步和前100步中的最佳智能體AIDE47和AIDE85,發現它們的性能提升也泛化到了從未優化過的任務上,例如在MLE-Bench Lite、ALE-Bench Lite和WeatherBench 2三個外部基準測試中,兩者均超越了起始點AIDE0。此外,AIDE2還展現出了湧現行為:它學會了防止內層智能體進行獎勵黑客行為。例如,AIDE85在GPU內核工程基準測試中將獎勵黑客率從63%降低到了34%,通過構建從提示級別指令到硬編碼檢查的防禦機制。
值得注意的是,AIDE47和AIDE85都擊敗了手動調優的智能體AIDEhuman——後者經過了兩年的迭代優化——而AIDE2的自動研究循環僅需八天無人監督運行。團隊認為這是遞歸自我改進的首個實驗證據,顯著提升了AI研發的效率。根據RSI等級劃分(Level 0:委託;Level 1:淨正效應;Level 2:點火;Level 3:拐點),AIDE2被認為達到了Level 1,即系統自我改進的效率高於人工改進,滿足四個條件:公平的人類基線、持續的多步趨勢、超越優化測量的泛化能力以及固定的物理預算。內層循環的評估設計強調了公開-私有分數分離、固定成本約束和任務異構性,這些因素共同推動了通用算法改進。該研究為自主AI系統的自我改進提供了重要里程碑。