定義LLM工具效率：邊際工具效用
本文提出了一種新的量化指標——工具效率，用於評估LLM智能體軌跡中有用工具調用的比率。為了精確定義工具效率，作者還引入了邊際工具效用，該指標判斷每次工具調用的有用性，以及能否在不影響準確性的情況下從工具套件中移除，從而提高效率。研究使用LLM作為裁判來確定軌跡中每次工具調用的邊際工具效用符號。這項工作直接量化效率，為未來基準設計和精簡工具套件優化提供基礎。
一篇新的研究論文《Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility》提出了一種直接量化大型語言模型（LLM）智能體工具使用效率的方法。該論文由Nyx Iskandar撰寫，並於2026年5月7日提交至arXiv預印本服務器（arXiv:2607.14108）。這項工作的核心動機是解決當前LLM工具使用評估中的一個重要空白：缺乏直接衡量效率的量化指標。現有的評估方法往往依賴於準確性作為效率的代理，但這種方式可能無法全面反映工具調用的實際代價和必要性。
論文的主要貢獻是引入了兩個互補的定量指標：工具效率（Tool Efficiency）和邊際工具效用（Marginal Tool Utility）。工具效率定義為在LLM智能體的完整執行軌跡中，有用工具調用次數佔總調用次數的比例。而邊際工具效用則針對每一次具體的工具調用，評估該調用是否對任務產生了實質性貢獻，或者是否可以從工具集合中安全移除而不降低任務準確性。通過識別並移除那些邊際效用為負的冗餘調用，可以同時提升工具效率。
為了確定邊際工具效用的正負號，作者採用了LLM-as-a-Judge（大模型作為裁判）的方法。具體而言，他們利用另一個LLM來評估每個工具調用在特定上下文中的實際價值。這一創新方法繞過了傳統以準確性為代理的間接效率測量，實現了對效率的直接量化分析。作者強調，這種方法特別適用於對已完成的智能體軌跡進行事後分析。
論文還討論了相關領域的工作，包括計算與語言（cs.CL）、人工智能（cs.AI）以及軟件工程（cs.SE），顯示出其跨學科的潛力。與以往主要集中在開發改進工具使用技術或設計基於準確性代理的評估方法不同，本研究直接聚焦於效率本身的量化。作者希望這項工作能夠成為LLM評估研究前沿的跳板，為未來基準測試的設計和智能體框架工程（特別是創建精簡工具套件）提供理論基礎，從而優化那些與準確性互補但有所區別的指標。
此外，論文提供了完整的引用信息和提交歷史，包括DOI: 10.48550/arXiv.2607.14108。該研究在發佈時（2026年7月）被歸類為cs.CL領域的新提交，並提供多種訪問方式，包括PDF和HTML版本。作者Nyx Iskandar作為唯一的貢獻者，提交了這份283 KB的預印本。