不要赌博，要GAMBLe：AI驱动研究系统的分析框架
本文介绍GAMBLe框架，用于分析AI驱动研究系统（ADRS）。该框架将ADRS行为分解为四个参数（生成器、评估器、发现机制、预算）和一个有效景观。通过760多次实验发现，不存在完全的排序，正确的组件选择可大幅提升性能。
人工智能驱动研究系统（ADRS）通过将大语言模型与自动评估相结合，用于发现算法、证明和设计，正被广泛优化和应用。然而，分析这些系统的工具却未能同步发展。ADRS的性能依赖于组件之间复杂且昂贵的交互，而标准的收敛保证往往基于不成立的结构假设。为此，研究人员提出了GAMBLe框架。
GAMBLe将ADRS行为分解为四个关键参数：生成器（G）、评估器（A）、发现机制（M）和预算（B），并引入有效景观（Leff = A∘G）这一概念。该景观揭示了不同的生成器-评估器组合会为每个问题诱导出结构不同的优化地形。研究团队在760多次重复运行（超过46,000次迭代）中测试了该框架，涵盖从单一LLM到动态自适应集成等多种生成器，从贪婪选择到共进化元搜索等多种机制，以及三个NP难问题，其评估器从连续评分到阶梯函数不等。
实验结果令人惊讶：不存在生成器或机制的绝对排序。前沿模型有时表现不如开源替代品，而最简单的机制有时能超越最先进的元搜索。即使在有限的预算下（每次运行60次迭代），正确的组件选择也能将性能提升13%至67%，搜索效率提高6至39倍。这一发现表明，ADRS的优化并非依靠直觉猜测，而需要系统的分析框架来指导。
GAMBLe框架为AI研究系统提供了一种强大的工具，帮助研究人员理解组件间的相互作用，并做出更明智的设计选择。随着ADRS在科学发现和工程设计中的日益普及，这种分析能力将成为避免盲目实验、提升研究效率的关键。未来，该框架可以扩展至更多类型的生成器和评估器，并应用于实际研究问题中，以进一步验证其有效性。