AIエージェントのコストと速度を改善する最善の方法は、意外なほど見えにくいところに隠れています。これまで、エージェントを構築する際には、エッジケースやガードレールを追加してモデルにタスクの文脈を与えることが一般的でした。しかし、そうした追加要素はしばしば「肥大化」となり、モデル本来の判断力や知能を妨げるようになっています。遅延ツールローディングは、この「引き算」の手法の一つです。すべてのツールスキーマをシステムプロンプトに事前に詰め込むのではなく、タスクごとに必要なツールを必要なときに検索して取得します。
多くのチームは、ゲートウェイを介して最先端モデルとオープンソースモデルを切り替えています。理論上はうまく機能するはずですが、ほとんどのゲートウェイは遅延ツールローディングをサポートしていません。OpenAIやAnthropicのAPIは通常この機能をサポートしていますが、CodexやClaude Codeは、Basetenのようなサードパーティのオープンモデルプロバイダーを指す場合、遅延ツールローディングをオフにします。ユーザーは手動で再度有効にし、プロバイダーがサーバー側のゲートウェイと推論実装でこのパラダイムをサポートしていることを確認する必要があります。そうでなければ、登録されたすべてのMCPの完全なツールリストとスキーマがリクエストごとに添付され、実際には使われないツールも含めて数十万トークンを浪費する可能性があります。
最近、BasetenはModel APIs上でDeepSeek、Kimi、GLMなどのオープンモデルに対して遅延ツールローディングのサポートを追加しました。これはChat CompletionsとMessages APIの両形式に対応しています。Claude Codeで3つのMCP(Slack、Notion、Baseten)を有効にした場合、コーディングベンチマークでは平均コストが62.5%削減され、速度が26.2%向上しました。エージェントベンチマークでは、ベンチマークに元々含まれるツールとMCPを使用し、タスクの平均コストが51.1%削減され、速度が14.9%向上しました。
遅延ツールローディングは、Web開発における遅延読み込み(レイジーローディング)に似ています。現代のフロントエンド開発では、リソースを本当に必要になるまで読み込まないのが一般的です。エージェントも同様であるべきです。遅延ローディングでは、すべてのツールをシステムプロンプトから除外し、代わりに検索ツールを提供します。モデルは必要に応じて適切なツールを検索して呼び出します。即時ローディングモードでは、登録された各MCPが提供するツールの完全なリストとスキーマがシステムプロンプトに注入されます。たとえば、3つのMCPサーバーを登録すると、ツール呼び出しスキーマによってリクエストごとにシステムプロンプトが約14万1千トークン増加しました。遅延ローディングでは、これが約1千3百トークンに削減されます。
では、遅延ローディングはハーネスの内部でどのように機能し、どこから節約が生まれるのでしょうか。即時ローディングでは、すべてのツールスキーマが毎回のリクエストでシステムプロンプトとともにAPIに渡されます。その結果、キャッシュが非常に肥大化します。プレフィックスはキャッシュされますが、各出力トークンは既存のすべてのキャッシュKVエントリに注意を向けるため、計算量と時間が大幅に増加します。一方、遅延ローディングでは、最初にツール名とtool_searchツール(約1千3百トークン)を渡します。モデルが1つ以上のツールを必要とすると、tool_searchを呼び出し、クライアントは一致するツールを指定するtool_referenceブロックのリストを返します。サーバーはシステムプロンプトを変更するのではなく、会話記録の末尾に完全なスキーマをインラインでレンダリングするため、プレフィックス上に構築されたKVキャッシュは有効なままです。最後に、アシスタントが実際のツールを呼び出します。
この方法では、将来のリクエストがtool_search呼び出しまでの同じプレフィックスを共有し、レンダリングされたスキーマと後続のターンのみが新しいトークンとして追加されるため、KVキャッシュが維持されます。デコード中、各新規トークンはキャッシュされたコンテキスト内のすべてのトークンに注意を向けるため、トークンあたりの注意コストはコンテキスト長に線形に比例します。即時モードでは、コンテキストに完全なツールスキーマが含まれ、使用の有無にかかわらず、生成される各トークンが約14万1千のKVエントリを読み取ることになります。注意コストはおおよそ出力長とKVキャッシュサイズnに比例し、この例ではnが約100倍高くなります。したがって、遅延ローディングによるより小さくヒット率の高いプレフィックスは、各デコードステップを安価にし、エンドツーエンドのリクエスト処理時間を短縮し、開発体験を向上させます。
効果を定量化するため、Basetenは8つのベンチマークから55のタスクを抽出し、GLM 5.3を使用して遅延ツールローディングの有無によるコストと時間を測定しました。テストしたのは2種類のコーディングハーネスのユースケースです。1つはほぼ純粋なコーディングタスクで、計画を与えてPRを作成させるようなケースです。ツール呼び出しは最小限ですが、登録されたMCPツールのコストがすべてのリクエストに影響します。もう1つは、モデルが多くのツールを検索し、ツール発見のループを経るエージェントタスクです。どちらの場合も、遅延ローディングは即時ローディングよりも優れており、マイナス面はほとんどありませんでした。
コーディングベンチマークにはTerminal-Bench、SWE-bench Verified、SWE-bench Pro v2、DeepSWE v1.1を、エージェントベンチマークにはMCP-Atlas、AutomationBench、ComplexMCP、Toolathlon-GYMを使用しました。すべてのタスクはClaude Codeでヘッドレスに実行され、コーディングベンチマークでは3つのMCP(Slack、Notion、Baseten)を登録し、エージェントベンチマークではベンチマークに元々含まれるMCP以外は登録しませんでした。結果として、多くの、または肥大化したMCPを登録した場合や、タスク完了に多数のリクエストが必要な場合(エージェントベンチマークなど)に、コスト削減効果が大きくなることが分かりました。総タスク時間は、リクエストあたりの平均トークン数が減るため短縮されます。モデルが多くのツール検索を行う必要があるエージェントベンチマークでも、時間は大幅に改善しました。Toolathlon-GYMベンチマークでは、タスクあたり平均68回のツール呼び出しがあり、この場合は即時ローディングの方が効率的でした。DeepSWEとMCP-Atlasのタスクはわずかに遅くなりましたが、コスト削減効果がこのわずかな時間増加を上回るため、無視できる程度と見なされています。
結論として、遅延ツールローディングは、既存のエージェントハーネス内でMCPとツールの乱立を制御する強力なパターンです。また、コンテキストを意識した社内ハーネスを構築する場合、APIを通じて一般に利用できます。Basetenはオープンモデルへのサポートを追加することで、遅延ツールローディングがエージェントおよびコーディングベンチマークでトークンとタスク時間の大幅な節約をもたらすことを示しました。