ギャンブルではなくGAMBLe：AI駆動型研究システムの分析フレームワーク
本稿では、AI駆動型研究システム（ADRS）を分析するためのフレームワークGAMBLeを紹介する。ADRSの動作を4つのパラメータ（生成器、評価器、発見メカニズム、予算）と有効ランドスケープに分解する。760回以上の実験から、コンポーネントに完全な順序はなく、正しい選択により性能が13～67%、探索効率が6～39倍向上することが示された。
AI駆動型研究システム（ADRS）は、大規模言語モデルと自動評価を組み合わせてアルゴリズム、証明、設計を発見するシステムであり、さまざまな分野で最適化と採用が進んでいる。しかし、これらのシステムを分析するツールは追いついていない。ADRSの性能は、理解が難しく、探索にコストがかかり、標準的な収束保証では捉えきれないコンポーネント間の相互作用に依存する。本研究では、GAMBLeフレームワークを提案する。
GAMBLeは、ADRSの動作を4つのパラメータ（生成器G、評価器A、発見メカニズムM、予算B）と、有効ランドスケープLeff = A∘Gという合成オブジェクトに分解する。これにより、異なる生成器と評価器のペアが、問題ごとに構造的に異なる最適化ランドスケープを誘導することが明らかになる。研究チームは、単一LLMから動的適応型アンサンブルまでの生成器、貪欲選択から共進化的メタ検索までのメカニズム、連続スコアリングからクリフ関数までの評価器を持つ3つのNP困難問題において、760回以上の複製実行（46,000回以上の反復）でフレームワークを検証した。
実験の結果、生成器やメカニズムに完全な順序は存在しないことが明らかになった。最先端モデルがオープンソースの代替品に劣る場合や、最も単純なメカニズムが最先端のメタ検索を上回る場合がある。限られた予算（1回の実行で60回の反復）でも、適切なコンポーネントの選択により、性能が13～67%向上し、探索効率が6～39倍向上することが示された。
GAMBLeフレームワークは、ADRSのコンポーネント間の相互作用を理解し、より効果的な設計選択を行うための強力なツールを提供する。ADRSが科学発見やエンジニアリング設計でますます普及する中、このような分析能力は、盲目的な実験を避け、研究効率を高める上で重要な役割を果たすだろう。