arXivで公開された新しい研究は、AIエージェント呼び出しの信頼性を診断し改善するためのカスケード診断フレームワークであるSAAG（構造化エージェント評価とグラウンディング）を提案しています。現在のAIシステムでは、エージェント呼び出しは大規模言語モデルを外部ツールやサービスに接続する中核的なメカニズムです。しかし、従来の完全一致評価では、モデルが正しい関数を選択しても引数値を幻覚したり、スキーマを満たしていても誤った理由でエージェントを選択するなど、質的に異なる障害モードが隠蔽されていました。既存のベンチマークはこれらの区別を単一のバイナリスコアにまとめてしまい、実務者はエージェント呼び出しがどこで失敗するかを診断できませんでした。
SAAGは、エージェント呼び出し評価を3つの連続した段階に分解することでこの問題に対処します。すなわち、登録準拠（呼び出された関数がレジストリに存在するか）、構造的完全性（引数が関数のスキーマ要件を満たすか）、および引数グラウンディング（引数値が妥当で幻覚を起こしていないか）です。各段階は解釈可能な診断結果を生成し、これらは評価だけでなく反復的な自己修復のガイドにも使用されます。予測が失敗した場合、段階固有の信号が真値を漏洩させることなく、対象を絞った修正を導きます。
研究者らは、Glaiveの関数呼び出しデータセットから派生した制御ベンチマークを使用し、パラメータ数が4B未満の3つのローカルモデル（TinyLlama、Phi-2など）を用いて、レジストリサイズ5、10、15でSAAGを評価しました。実験結果は、構造化フィードバックが単一パス推論や情報のないバイナリフィードバックと比較して、引数精度を一貫して向上させ、値の幻覚を低減することを示しました。例えば、レジストリサイズ10の場合、引数グラウンディング段階の精度は約15%向上し、値の幻覚率はほぼ半減しました。ただし、エンドツーエンドのF1スコアの向上は緩やかで、通常2〜5パーセントポイントであり、モデルやレジストリ規模に依存しました。これらの結果は、モデルファミリーやレジストリスケール全体でエージェント呼び出しの信頼性を理解し改善するために、段階分解診断評価が必要な視点であることを示唆しています。
SAAGはACL 2026のKnowFMワークショップ（非アーカイブ）に採択され、全16ページの論文であり、Ritvik Garimellaらによって執筆されました。この研究は、AIコミュニティに対してより透明で実用的なエージェント呼び出し評価手法を提供し、ツール使用シナリオにおけるモデルのパフォーマンス向上と、より信頼性の高いエージェントシステムの開発に貢献します。