arXiv上發佈的一項新研究提出了SAAG（結構化智能體評估與校準），這是一個旨在診斷和改進AI智能體調用可靠性的級聯診斷框架。在當前的AI系統中，智能體調用（agent calling）是連接大型語言模型與外部工具和服務的核心機制。然而，傳統的精確匹配評估方法掩蓋了智能體調用中截然不同的失敗模式：例如，模型可能正確選擇了函數，但卻虛構了參數值；或者滿足了模式要求，但選擇了不合適的智能體。現有基準將這些問題簡化為單一的二進制得分，使得從業者難以定位智能體調用失敗的具體原因。
SAAG通過將智能體調用評估分解為三個連續的階段來解決這一限制：註冊一致性（registry conformance）、結構完整性（structural completeness）和參數校準（argument grounding）。註冊一致性階段檢查調用的函數是否存在於註冊表中，確保模型選擇的是可用函數。結構完整性階段驗證參數是否滿足函數的模式要求，包括類型、格式和必選字段。參數校準階段評估參數值是否合理且不會產生幻覺，這通常是智能體失敗的主要來源。每個階段產生可解釋的診斷結果，這些結果不僅用於評估，還可以指導迭代自我修復：在預測失敗時，階段特定的信號可以引導有針對性的修正，而不會泄露真實值。
研究人員在基於Glaive函數調用數據集構建的受控基準上評估了SAAG，使用了三個參數量低於4B的本地模型（如TinyLlama、Phi-2等），並設置了5、10和15個智能體的註冊表大小。實驗結果顯示，與單次推理和無信息的二進制反饋相比，結構化反饋一致性地提高了參數精度並減少了值幻覺。例如，在註冊表大小為10時，參數校準階段的精確率提高了約15%，同時值幻覺率降低了近一半。然而，端到端的F1得分提升較為温和，通常在2到5個百分點之間，並且依賴於模型和註冊表規模。這些結果表明，階段分解診斷評估是理解和提升跨模型系列和註冊表規模的智能體調用可靠性的必要視角。
SAAG被ACL 2026的KnowFM研討會接收（非存檔），論文共16頁，由Ritvik Garimella等人撰寫。該研究為AI社區提供了一種更透明和可操作的智能體調用評估方法，有助於改進模型在工具使用場景中的表現，並推動更可靠的智能體系統發展。