定义LLM工具效率：边际工具效用
本文提出了一种新的量化指标——工具效率，用于评估LLM智能体轨迹中有用工具调用的比率。为了精确定义工具效率，作者还引入了边际工具效用，该指标判断每次工具调用的有用性，以及能否在不影响准确性的情况下从工具套件中移除，从而提高效率。研究使用LLM作为裁判来确定轨迹中每次工具调用的边际工具效用符号。这项工作直接量化效率，为未来基准设计和精简工具套件优化提供基础。
一篇新的研究论文《Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility》提出了一种直接量化大型语言模型（LLM）智能体工具使用效率的方法。该论文由Nyx Iskandar撰写，并于2026年5月7日提交至arXiv预印本服务器（arXiv:2607.14108）。这项工作的核心动机是解决当前LLM工具使用评估中的一个重要空白：缺乏直接衡量效率的量化指标。现有的评估方法往往依赖于准确性作为效率的代理，但这种方式可能无法全面反映工具调用的实际代价和必要性。
论文的主要贡献是引入了两个互补的定量指标：工具效率（Tool Efficiency）和边际工具效用（Marginal Tool Utility）。工具效率定义为在LLM智能体的完整执行轨迹中，有用工具调用次数占总调用次数的比例。而边际工具效用则针对每一次具体的工具调用，评估该调用是否对任务产生了实质性贡献，或者是否可以从工具集合中安全移除而不降低任务准确性。通过识别并移除那些边际效用为负的冗余调用，可以同时提升工具效率。
为了确定边际工具效用的正负号，作者采用了LLM-as-a-Judge（大模型作为裁判）的方法。具体而言，他们利用另一个LLM来评估每个工具调用在特定上下文中的实际价值。这一创新方法绕过了传统以准确性为代理的间接效率测量，实现了对效率的直接量化分析。作者强调，这种方法特别适用于对已完成的智能体轨迹进行事后分析。
论文还讨论了相关领域的工作，包括计算与语言（cs.CL）、人工智能（cs.AI）以及软件工程（cs.SE），显示出其跨学科的潜力。与以往主要集中在开发改进工具使用技术或设计基于准确性代理的评估方法不同，本研究直接聚焦于效率本身的量化。作者希望这项工作能够成为LLM评估研究前沿的跳板，为未来基准测试的设计和智能体框架工程（特别是创建精简工具套件）提供理论基础，从而优化那些与准确性互补但有所区别的指标。
此外，论文提供了完整的引用信息和提交历史，包括DOI: 10.48550/arXiv.2607.14108。该研究在发布时（2026年7月）被归类为cs.CL领域的新提交，并提供多种访问方式，包括PDF和HTML版本。作者Nyx Iskandar作为唯一的贡献者，提交了这份283 KB的预印本。