本文にスキップ
AI News HubLIVE
サイト内リライト4 分で読了

遅延ツールローディング:モデルとハーネスを変更せずにエージェントを62.5%安くする

記事の要約

Basetenは、DeepSeek、Kimi、GLMなどのオープンモデル向けAPIに遅延ツールローディングを導入した。これは、すべてのツールスキーマを事前にロードするのではなく、必要に応じてツールを取得する手法であり、コンテキストの肥大化を大幅に削減する。Claude Codeで3つのMCPを使用したベンチマークでは、コーディングタスクのコストが平均62.5%削減され、速度が26.2%向上した。エージェントタスクでは、コストが51.1%削減され、14.9%高速化した。

ソースBaseten Blog
遅延ツールローディング:モデルとハーネスを変更せずにエージェントを62.5%安くする
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

AIエージェントのコストと速度を改善する最善の方法は、意外なほど見えにくいところに隠れています。これまで、エージェントを構築する際には、エッジケースやガードレールを追加してモデルにタスクの文脈を与えることが一般的でした。しかし、そうした追加要素はしばしば「肥大化」となり、モデル本来の判断力や知能を妨げるようになっています。遅延ツールローディングは、この「引き算」の手法の一つです。すべてのツールスキーマをシステムプロンプトに事前に詰め込むのではなく、タスクごとに必要なツールを必要なときに検索して取得します。

多くのチームは、ゲートウェイを介して最先端モデルとオープンソースモデルを切り替えています。理論上はうまく機能するはずですが、ほとんどのゲートウェイは遅延ツールローディングをサポートしていません。OpenAIやAnthropicのAPIは通常この機能をサポートしていますが、CodexやClaude Codeは、Basetenのようなサードパーティのオープンモデルプロバイダーを指す場合、遅延ツールローディングをオフにします。ユーザーは手動で再度有効にし、プロバイダーがサーバー側のゲートウェイと推論実装でこのパラダイムをサポートしていることを確認する必要があります。そうでなければ、登録されたすべてのMCPの完全なツールリストとスキーマがリクエストごとに添付され、実際には使われないツールも含めて数十万トークンを浪費する可能性があります。

最近、BasetenはModel APIs上でDeepSeek、Kimi、GLMなどのオープンモデルに対して遅延ツールローディングのサポートを追加しました。これはChat CompletionsとMessages APIの両形式に対応しています。Claude Codeで3つのMCP(Slack、Notion、Baseten)を有効にした場合、コーディングベンチマークでは平均コストが62.5%削減され、速度が26.2%向上しました。エージェントベンチマークでは、ベンチマークに元々含まれるツールとMCPを使用し、タスクの平均コストが51.1%削減され、速度が14.9%向上しました。

遅延ツールローディングは、Web開発における遅延読み込み(レイジーローディング)に似ています。現代のフロントエンド開発では、リソースを本当に必要になるまで読み込まないのが一般的です。エージェントも同様であるべきです。遅延ローディングでは、すべてのツールをシステムプロンプトから除外し、代わりに検索ツールを提供します。モデルは必要に応じて適切なツールを検索して呼び出します。即時ローディングモードでは、登録された各MCPが提供するツールの完全なリストとスキーマがシステムプロンプトに注入されます。たとえば、3つのMCPサーバーを登録すると、ツール呼び出しスキーマによってリクエストごとにシステムプロンプトが約14万1千トークン増加しました。遅延ローディングでは、これが約1千3百トークンに削減されます。

では、遅延ローディングはハーネスの内部でどのように機能し、どこから節約が生まれるのでしょうか。即時ローディングでは、すべてのツールスキーマが毎回のリクエストでシステムプロンプトとともにAPIに渡されます。その結果、キャッシュが非常に肥大化します。プレフィックスはキャッシュされますが、各出力トークンは既存のすべてのキャッシュKVエントリに注意を向けるため、計算量と時間が大幅に増加します。一方、遅延ローディングでは、最初にツール名とtool_searchツール(約1千3百トークン)を渡します。モデルが1つ以上のツールを必要とすると、tool_searchを呼び出し、クライアントは一致するツールを指定するtool_referenceブロックのリストを返します。サーバーはシステムプロンプトを変更するのではなく、会話記録の末尾に完全なスキーマをインラインでレンダリングするため、プレフィックス上に構築されたKVキャッシュは有効なままです。最後に、アシスタントが実際のツールを呼び出します。

この方法では、将来のリクエストがtool_search呼び出しまでの同じプレフィックスを共有し、レンダリングされたスキーマと後続のターンのみが新しいトークンとして追加されるため、KVキャッシュが維持されます。デコード中、各新規トークンはキャッシュされたコンテキスト内のすべてのトークンに注意を向けるため、トークンあたりの注意コストはコンテキスト長に線形に比例します。即時モードでは、コンテキストに完全なツールスキーマが含まれ、使用の有無にかかわらず、生成される各トークンが約14万1千のKVエントリを読み取ることになります。注意コストはおおよそ出力長とKVキャッシュサイズnに比例し、この例ではnが約100倍高くなります。したがって、遅延ローディングによるより小さくヒット率の高いプレフィックスは、各デコードステップを安価にし、エンドツーエンドのリクエスト処理時間を短縮し、開発体験を向上させます。

効果を定量化するため、Basetenは8つのベンチマークから55のタスクを抽出し、GLM 5.3を使用して遅延ツールローディングの有無によるコストと時間を測定しました。テストしたのは2種類のコーディングハーネスのユースケースです。1つはほぼ純粋なコーディングタスクで、計画を与えてPRを作成させるようなケースです。ツール呼び出しは最小限ですが、登録されたMCPツールのコストがすべてのリクエストに影響します。もう1つは、モデルが多くのツールを検索し、ツール発見のループを経るエージェントタスクです。どちらの場合も、遅延ローディングは即時ローディングよりも優れており、マイナス面はほとんどありませんでした。

コーディングベンチマークにはTerminal-Bench、SWE-bench Verified、SWE-bench Pro v2、DeepSWE v1.1を、エージェントベンチマークにはMCP-Atlas、AutomationBench、ComplexMCP、Toolathlon-GYMを使用しました。すべてのタスクはClaude Codeでヘッドレスに実行され、コーディングベンチマークでは3つのMCP(Slack、Notion、Baseten)を登録し、エージェントベンチマークではベンチマークに元々含まれるMCP以外は登録しませんでした。結果として、多くの、または肥大化したMCPを登録した場合や、タスク完了に多数のリクエストが必要な場合(エージェントベンチマークなど)に、コスト削減効果が大きくなることが分かりました。総タスク時間は、リクエストあたりの平均トークン数が減るため短縮されます。モデルが多くのツール検索を行う必要があるエージェントベンチマークでも、時間は大幅に改善しました。Toolathlon-GYMベンチマークでは、タスクあたり平均68回のツール呼び出しがあり、この場合は即時ローディングの方が効率的でした。DeepSWEとMCP-Atlasのタスクはわずかに遅くなりましたが、コスト削減効果がこのわずかな時間増加を上回るため、無視できる程度と見なされています。

結論として、遅延ツールローディングは、既存のエージェントハーネス内でMCPとツールの乱立を制御する強力なパターンです。また、コンテキストを意識した社内ハーネスを構築する場合、APIを通じて一般に利用できます。Basetenはオープンモデルへのサポートを追加することで、遅延ツールローディングがエージェントおよびコーディングベンチマークでトークンとタスク時間の大幅な節約をもたらすことを示しました。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 遅延ツールローディングにより、システムプロンプトのツールスキーマが約14万1千トークンから約1千3百トークンに削減される。
  • Claude Codeで3つのMCPを使用したコーディングベンチマークでは、平均62.5%のコスト削減と26.2%の速度向上を実現。
  • エージェントベンチマークでは、平均51.1%のコスト削減と14.9%の速度向上を達成。
  • Baseten Model APIsは、Chat CompletionsとMessages APIの両形式でオープンモデルの遅延ツールローディングをサポートするようになった。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。