大型语言模型作为智能体被部署在大型工具目录之上时，面临一个关键的工具检索瓶颈。基于嵌入的检索方法依赖紧凑的编码器，而这些编码器可能无法充分捕捉专业化工具的语义。参数化工具检索通过将每个工具编码为一个虚拟 token 并追加到 LLM 词表中来应对这一问题，并采用两阶段微调（先记忆、后检索 SFT），使 LLM 本身充当检索器，在标准 ToolBench 检索基准上取得了强劲表现。然而，这些基准使用的是冗长且完全指定的查询，其评估还采用受限解码，将输出限制在合法的 token 路径上，二者都无法揭示模型是否真正理解了它所检索的工具。
为填补这一空白，Ashutosh Hathidara 与另外三位作者提出了 ToolSense，这是一个开源的、由 LLM 驱动的诊断框架，相关论文于 2026 年 6 月 4 日提交至 arXiv（编号 2606.12451，v1 版本于当日 14:59:56 UTC 发布，文件大小 665 KB）。该框架以任意工具目录作为输入，自动生成三个基准：一个真实检索基准（Realistic Retrieval Benchmark，RRB），其查询按三个歧义层级设计；一个多选题（MCQ）探测基准；以及一个问答（QA）探测基准。框架与 ToolBench 诊断基准均已开源，代码托管于 https://github.com/SAP/toolsense。
研究团队将 ToolSense 应用于 ToolBench 约 4.7 万个工具，并对五种参数化模型训练配置进行了评估。结果显示出一个值得关注的“知识—检索分离”现象：在 RRB 查询上，若干配置的表现相比完全指定的 ToolBench 基准骤降约 50 至 64 个百分点，甚至低于嵌入模型基线。此外，尽管部分模型在检索上表现强劲，它们在事实性探测题上的得分却接近随机水平，这进一步说明模型可能只是学会了把查询映射到工具 token，而非真正掌握工具的功能知识。
这一发现对依赖参数化工具检索构建智能体系统的开发者具有直接警示意义：在传统基准上的高分未必能转化为真实、含歧义的用户查询下的可靠表现。ToolSense 的价值在于提供了一套可复用的诊断流程，帮助研究者和工程师在部署前识别模型在工具理解上的薄弱环节。该论文归类于人工智能（cs.AI），并交叉涉及信息检索（cs.IR）与机器学习（cs.LG）领域。需要注意的是，上述结论基于 ToolBench 这一特定工具目录及五种训练配置，其向其他工具生态的泛化能力仍需进一步验证。