利用进化自动化AI模型研究

Imbue公司近日宣布开源其最新AI研究工具Imbue Catalyst，该工具借鉴达尔文进化论思想，旨在自动化AI模型研究中的优化与发现过程。据官方博客介绍，Catalyst在优化小型语言模型nanochat时表现出色，其进化驱动的方法将模型性能提升至传统AutoResearch方法的3倍。

Catalyst的核心能力包括：针对给定指标优化代码、算法或模型；寻找满足程序验证标准的解决方案；发现计算可复现现象的解释；以及协助审查、形式化和编辑计算研究领域的理论。该工具以AGPL-3.0许可证开源，鼓励社区协作。

在技术细节上，Catalyst的进化求解器通过维护多个“解释策略”来避免传统线性代理常见的路径依赖问题。线性代理在实验中容易陷入“隧道视角”，一旦认为所有优化方向已穷尽，便只能重复随机重试，无法重新审视问题。Catalyst则通过引入“解释策略”概念，让不同的代理持有对实验数据的独特解读，并持续更新。

具体工作流程分为数据收集与整合迭代两个阶段。在大多数迭代中（如9:1比例），系统从策略种群中按适应度采样，驱动代理提出下一实验，并基于预期研究影响排序执行。每隔数次迭代，系统会进行知识整合，要求部分代理将近期观察合并为理论，并鼓励分支——生成一条独立的、可能更激进的替代研究路线。这些新策略重新加入种群，通过解决方案候选的表现和路线新颖性评估其适应度。

为平衡实验效率与多样性，Catalyst采取了三条措施：解释策略分支（主要多样性来源）、实验可见性采样（种群扩大后结果只对随机子集可见）以及适应度加权采样。在nanochat测试中，催化剂在340次实验后达到val_bpb 0.9361，并未出现收敛迹象。相比之下，独立AutoResearch代理在类似次数后陷入停滞。

Imbue强调，Catalyst并非万能。其进化求解器在高计算成本的问题上可能效率不足，且对任务规格的适当性敏感。但整体而言，它展示了当前LLM通过进化策略克服自身局限的潜力，为自动化AI研究开辟了新路径。