AI News HubLIVE
站内改写

Hermes Agent、MCP向けTool Searchを搭載:Anthropicの評価でOpus 4の精度が49%から74%に向上

Nous ResearchのオープンソースHermes AgentにTool Search機能が追加されました。BM25による段階的なスキーマ開示により、MCPツールコンテキストの肥大化を解決し、トークンオーバーヘッドを削減、モデルの精度を向上します。Anthropicの評価では、Claude Opus 4の精度が49%から74%、Opus 4.5が79.5%から88.1%に向上しました。

記事インテリジェンス

エンジニア上級

要点

  • Tool Searchは、すべてのMCPツールスキーマを3つのブリッジツール(tool_search、tool_describe、tool_call)に置き換え、必要に応じてスキーマを読み込みます。
  • BM25検索とフォールバックを使用し、ツール名、説明、パラメータ名をクエリに一致させます。
  • 自動モードは、延期可能なスキーマがコンテキストウィンドウの10%を超えた場合にのみ作動し、オーバーヘッドを最小限に抑えます。
  • Anthropicの内部評価では、精度が大幅に向上し、ツール定義のトークン使用量が85%削減されました。

重要な理由

このニュースが重要なのは、Tool Searchは、すべてのMCPツールスキーマを3つのブリッジツール(tool_search、tool_describe、tool_call)に置き換え、必要に応じてスキーマを読み込みますためです。

技術的影響

モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。

Hermes AgentはNous Researchが開発したオープンソースのAIエージェントフレームワークであり、新たにTool Search機能を搭載しました。この機能は、複数のMCPサーバー接続時にコンテキストウィンドウがツールスキーマで埋め尽くされるというボトルネックを解決します。AIエージェントが複数のモデルコンテキストプロトコル(MCP)サーバーに接続すると、各ツールのJSONスキーマが毎ターンモデルに送信され、必要なツールが1つか2つだけでも大きなトークンオーバーヘッドが発生します。典型的な5サーバー・34ツールの構成では、ターンあたりのプロンプトサイズが約45,000トークンに達し、そのうち約22,000トークンがツールスキーマのオーバーヘッドです。Anthropicのエンジニアリングデータによると、ツール定義は最適化前で最大134,000トークンを消費し、ターンあたりの「MCPツール税」は15,000〜60,000トークンに及び、コスト増加とモデルの決定麻痺を引き起こします。

Tool Searchは段階的な開示レイヤーとして機能し、すべてのMCPツールスキーマを3つのブリッジツール(tool_search、tool_describe、tool_call)に置き換えます。モデルはまずtool_searchで必要なツールを検索し、tool_describeでスキーマを読み込み、最後にtool_callでツールを実行します。すべてのフック、ガードレール、承認プロンプトはブリッジではなく実際のツール名に対して実行されます。この設計により、コンテキスト内の無関係なオプションが大幅に削減され、精度が向上します。

Anthropicの内部MCP評価では、Claude Opus 4の精度が49%から74%、Claude Opus 4.5が79.5%から88.1%に向上しました。同時に、ツール定義のトークン使用量が85%削減され、完全なツールライブラリへのアクセスは維持されています。これらの改善は、多すぎる無関係なオプションから生じる「決定麻痺」の排除に起因します。

検索にはBM25アルゴリズムが使用され、モデルのクエリをツール名、説明、パラメータ名のカタログと照合します。BM25がポジティブスコアを返さない場合、システムはツール名の部分文字列一致にフォールバックし、すべてのツール名に「github」が含まれるようなゼロIDFの退化ケースを防ぎます。カタログは毎ターン再構築され、ライブツールレジストリとの非同期によるドリフトバグを防止します。

Tool Searchはデフォルトで自動モードになり、延期可能なツールスキーマがアクティブモデルのコンテキストウィンドウの10%以上を消費する場合にのみ作動します。しきい値未満ではツール配列はそのまま渡され、オーバーヘッドはありません。この決定は毎ターン再評価され、短期間のコンテキストや少数のツールでは作動しません。設定はhermes.yamlファイルで制御でき、自動、常時有効、無効の切り替え、しきい値パーセンテージ、検索デフォルト制限、最大制限などのパラメータを指定できます。コアのHermesツール(端末、ファイル読み取り、Web検索など)は延期されません。

全体として、Tool Searchは大量のMCPツールを扱うAIエージェントに効率的なソリューションを提供し、コストを削減しながら精度を向上させます。特に、複数サーバー・多ツール構成で毎ターン限られたツールしか使用しないシナリオに適しています。