arXiv上釋出的一項新研究提出了SAAG（結構化智慧體評估與校準），這是一個旨在診斷和改進AI智慧體呼叫可靠性的級聯診斷框架。在當前的AI系統中，智慧體呼叫（agent calling）是連線大型語言模型與外部工具和服務的核心機制。然而，傳統的精確匹配評估方法掩蓋了智慧體呼叫中截然不同的失敗模式：例如，模型可能正確選擇了函式，但卻虛構了引數值；或者滿足了模式要求，但選擇了不合適的智慧體。現有基準將這些問題簡化為單一的二進位制得分，使得從業者難以定位智慧體呼叫失敗的具體原因。
SAAG透過將智慧體呼叫評估分解為三個連續的階段來解決這一限制：註冊一致性（registry conformance）、結構完整性（structural completeness）和引數校準（argument grounding）。註冊一致性階段檢查呼叫的函式是否存在於登錄檔中，確保模型選擇的是可用函式。結構完整性階段驗證引數是否滿足函式的模式要求，包括型別、格式和必選欄位。引數校準階段評估引數值是否合理且不會產生幻覺，這通常是智慧體失敗的主要來源。每個階段產生可解釋的診斷結果，這些結果不僅用於評估，還可以指導迭代自我修復：在預測失敗時，階段特定的訊號可以引導有針對性的修正，而不會洩露真實值。
研究人員在基於Glaive函式呼叫資料集構建的受控基準上評估了SAAG，使用了三個引數量低於4B的本地模型（如TinyLlama、Phi-2等），並設定了5、10和15個智慧體的登錄檔大小。實驗結果顯示，與單次推理和無資訊的二進位制反饋相比，結構化反饋一致性地提高了引數精度並減少了值幻覺。例如，在登錄檔大小為10時，引數校準階段的精確率提高了約15%，同時值幻覺率降低了近一半。然而，端到端的F1得分提升較為溫和，通常在2到5個百分點之間，並且依賴於模型和登錄檔規模。這些結果表明，階段分解診斷評估是理解和提升跨模型系列和登錄檔規模的智慧體呼叫可靠性的必要視角。
SAAG被ACL 2026的KnowFM研討會接收（非存檔），論文共16頁，由Ritvik Garimella等人撰寫。該研究為AI社群提供了一種更透明和可操作的智慧體呼叫評估方法，有助於改進模型在工具使用場景中的表現，並推動更可靠的智慧體系統發展。