arXivに新たな論文（2606.02863）が公開され、AI駆動研究システム（ADRS）を分析するためのフレームワーク「GAMBLe」が提案された。ADRSは大規模言語モデルと自動評価を組み合わせ、アルゴリズムや証明、設計を発見するシステムであり、様々な分野で最適化・採用が進んでいる。しかし、その分析ツールの整備は遅れている。
論文は、ADRSの性能がコンポーネント間の相互作用に依存しているにもかかわらず、その理解が不十分で、探索コストが高く、標準的な収束保証では適切に捉えられないことを指摘する。これらの保証は構造的仮定に依存しているが、論文が形式化するADRSプロセスではその仮定が成立しない。
そこで著者らはGAMBLeフレームワークを導入する。これはADRSの挙動を4つのパラメータ（生成器G、評価器A、発見メカニズムM、予算B）と1つの合成オブジェクトである有効景観L_eff = A ∘ Gに分解する。この有効景観により、異なる生成器と評価器のペアが問題ごとに構造的に異なる最適化景観を誘導することが明らかになる。
フレームワークを検証するため、760以上の再現実行（合計46,000回以上のイテレーション）が行われた。実験は、単一のLLMから動的自適応アンサンブルまでの生成器、貪欲選択から共進化メタ探索までの発見メカニズム、そして連続スコアから崖関数までの評価器を持つ3つのNP困難問題をカバーしている。
結果として、生成器やメカニズムに全体的な順序は存在しないことが示された。最先端モデルがオープンソースの代替手段に劣る場合もあれば、最も単純なメカニズムが最先端のメタ探索を上回る場合もある。これは、ADRSにおける「最良」のコンポーネントが問題と文脈に強く依存することを意味する。
さらに、限られた予算（実行あたり60イテレーション）であっても、適切なコンポーネント選択により性能が13-67%向上し、探索効率が6-39倍改善されることが示された。これは、AI駆動研究システムの構築において、最も強力なモデルや最も複雑なメカニズムを追求するのではなく、コンポーネントを慎重に選択し組み合わせることの重要性を強調している。
本論文はADRSの分析と設計に初の体系的な枠組みを提供し、研究者やエンジニアがこの種のシステムをより合理的に構築・最適化するのに役立つと期待される。