大语言模型函数调用的不确定性量化
首次评估了LLM函数调用中的不确定性量化方法，发现多采样方法不优于单采样方法，并提出基于抽象语法树聚类和语义标记选择的改进策略。
在人工智能领域，大型语言模型（LLM）正越来越多地被用于自主完成现实世界任务，其中函数调用（Function-Calling）是一种常见范式，用于赋予LLM工具使用能力。然而，错误的函数调用可能带来严重后果，尤其当涉及不可逆操作如转账或删除数据时。因此，在执行函数调用前，量化LLM的置信度至关重要。来自牛津大学和苹果公司的研究人员发表了据称是首个针对LLM函数调用场景的不确定性量化（UQ）方法的评估。该论文由Zihuiwen Ye、Lukas Aichberger、Michael Kirchhof、Sinead Williamson、Luca Zappella、Yarin Gal、Arno Blaas和Adam Goliński共同撰写，其中Ye和Aichberger为共同第一作者，Blaas和Goliński为共同资深作者。
研究背景中，作者指出虽然多采样UQ方法（如语义熵）在自然语言问答任务中表现优异，但在函数调用场景下，这些方法的性能并不优于简单的单采样方法。通过对函数调用输出的特性进行分析，研究者提出了两种改进策略：对于多采样方法，可利用基于抽象语法树解析的聚类来提升性能；对于单采样方法，通过选择语义有意义的标记来计算对数几率不确定性分数也能显著改善结果。实验表明，这些针对性的优化可以使UQ方法在函数调用任务中更加有效。
此外，该论文还提及了与UQ评估相关的其他研究。例如，一篇发表于ACL 2025的论文探讨了UQ评估中长度偏差的交互作用，指出当UQ方法和正确性指标受相同因素影响时，会产生系统性评估偏差。另一项发表于NeurIPS 2024研讨会的工作则致力于开发高效UQ方法，以减少多采样方法所需的计算资源。这些研究共同为LLM的安全部署提供了理论基础和技术路径，特别是在金融交易、数据管理等高风险应用中，通过精确的不确定性量化可以显著降低因函数调用错误导致的损失。