大語言模型函數調用的不確定性量化
首次評估了LLM函數調用中的不確定性量化方法，發現多采樣方法不優於單採樣方法，並提出基於抽象語法樹聚類和語義標記選擇的改進策略。
在人工智能領域，大型語言模型（LLM）正越來越多地被用於自主完成現實世界任務，其中函數調用（Function-Calling）是一種常見範式，用於賦予LLM工具使用能力。然而，錯誤的函數調用可能帶來嚴重後果，尤其當涉及不可逆操作如轉賬或刪除數據時。因此，在執行函數調用前，量化LLM的置信度至關重要。來自牛津大學和蘋果公司的研究人員發表了據稱是首個針對LLM函數調用場景的不確定性量化（UQ）方法的評估。該論文由Zihuiwen Ye、Lukas Aichberger、Michael Kirchhof、Sinead Williamson、Luca Zappella、Yarin Gal、Arno Blaas和Adam Goliński共同撰寫，其中Ye和Aichberger為共同第一作者，Blaas和Goliński為共同資深作者。
研究背景中，作者指出雖然多采樣UQ方法（如語義熵）在自然語言問答任務中表現優異，但在函數調用場景下，這些方法的性能並不優於簡單的單採樣方法。通過對函數調用輸出的特性進行分析，研究者提出了兩種改進策略：對於多采樣方法，可利用基於抽象語法樹解析的聚類來提升性能；對於單採樣方法，通過選擇語義有意義的標記來計算對數幾率不確定性分數也能顯著改善結果。實驗表明，這些針對性的優化可以使UQ方法在函數調用任務中更加有效。
此外，該論文還提及了與UQ評估相關的其他研究。例如，一篇發表於ACL 2025的論文探討了UQ評估中長度偏差的交互作用，指出當UQ方法和正確性指標受相同因素影響時，會產生系統性評估偏差。另一項發表於NeurIPS 2024研討會的工作則致力於開發高效UQ方法，以減少多采樣方法所需的計算資源。這些研究共同為LLM的安全部署提供了理論基礎和技術路徑，特別是在金融交易、數據管理等高風險應用中，通過精確的不確定性量化可以顯著降低因函數調用錯誤導致的損失。