大規模言語モデル（LLM）をエージェントとして大規模なツールカタログ上で展開する際、ツール検索のボトルネックが深刻な問題となります。埋め込みベースの検索アプローチはコンパクトなエンコーダに依存するため、専門的なツールのセマンティクスを十分に捉えられない可能性があります。パラメトリックツール検索は、各ツールをLLMの語彙に追加された仮想トークンとしてエンコードし、2段階のファインチューニング（記憶と検索SFT）によってLLMを検索器として使用することで、標準的なToolBench検索ベンチマークで高い性能を達成しています。しかし、これらのベンチマークは冗長で完全に指定されたクエリを使用し、評価では有効なトークンパスに出力を制限する制約付きデコーディングを適用するため、モデルがツールを実際に理解しているかどうかは明らかになりません。
そこで研究者らは、ToolSenseというオープンソースのLLM駆動型診断フレームワークを導入しました。これは任意のツールカタログを入力として受け取り、3つのベンチマークを自動生成します。現実的検索ベンチマーク（RRB）は3つの曖昧性レベル（完全指定、部分指定、曖昧）のクエリを含み、さらに多肢選択式（MCQ）プロービングベンチマークとQAプロービングベンチマークが生成されます。
ToolSenseをToolBench（約4.7万ツール）に適用し、5つのパラメトリックモデルトレーニング設定を評価した結果、知識と検索の乖離が明らかになりました。RRBクエリでは、複数の設定が完全指定のToolBenchベンチマークと比較して約50〜64パーセントポイントも性能が崩壊し、埋め込みモデルのベースラインを下回りました。さらに、検索性能が高いにもかかわらず、一部のモデルは事実プローブでほぼランダムなスコアを示し、知識と検索の乖離を示唆しています。
ToolSenseフレームワークとToolBench診断ベンチマークはGitHub（https://github.com/SAP/toolsense）でオープンソース化されており、コミュニティがツール検索システムを監査・改善するための重要なツールを提供しています。この研究は、高いベンチマークスコアがツールセマンティクスの浅い理解を隠している可能性があることを警告し、エージェントの真の能力を評価するにはより厳密な診断手法が必要であることを示しています。