ツール拡張言語モデルは、外部の実行可能スキルと組み合わせることで小規模言語モデルの能力を拡張できるが、ツールライブラリの規模が大きくなると、ライブラリはプランナーの進化に合わせて更新される必要があり、成長するライブラリからの検索は固定コンテキスト予算内に収めなければならないという二重の課題が生じる。既存のツール使用やスキルライブラリ手法は、ツールをフラットまたはテキストインデックス付きメモリとして扱うことが多く、プロンプトコストがライブラリサイズとともに増加し、実行可能コードの型付き構成構造が不明瞭になる。
この問題に対して、研究チームはCoCoDAフレームワークを提案した。これは、構成可能なコード有向非巡回グラフ（DAG）という単一のコードネイティブ構造を通じて、プランナーとツールライブラリを共進化させる。ノードはプリミティブまたは複合ツールを表し、エッジは呼び出し依存関係を符号化し、各ノードは型付きシグネチャ、説明、事前/事後条件仕様、および具体例を格納する。推論時には、型付きDAG検索が記号シグネチャの統一によって候補を刈り込み、説明でランク付けし、動作仕様でフィルタリングし、具体例で曖昧さを解消することで、コストのかかるコンテキスト具体化を徐々に小さな候補セットに限定する。
訓練時には、成功した軌跡が検証済みの複合ツールに折り畳まれ、プランナーはDAG誘導報酬によって更新される。この報酬は、複合ツールをプリミティブの展開サイズに基づいてクレジットする。理論的には、検索コストの削減、準線形の検索時間、形成された報酬下での構成上の利点、保守的更新下での単調な共進化、およびDAGの適切性が示されている。数学的推論、表分析、コードタスクのベンチマークにおいて、CoCoDAは8Bの生徒モデルがGSM8KとMATHで32Bの教師モデルに匹敵または凌駕し、強力なツール使用およびライブラリ学習ベースラインを一貫して上回る。
このフレームワークは、ツール拡張エージェントのためのスケーラブルで効率的なパラダイムを提供し、計算コストを抑えつつ、複雑なタスクへの小規模モデルの応用を促進することが期待される。