AIエージェントの体系的なデバッグ：AgentRxフレームワークの紹介

AIエージェントが単純なチャットボットから、クラウドインシデントの管理、複雑なWebインターフェースの操作、マルチステップAPIワークフローの実行が可能な自律システムへと移行するにつれて、新たな課題が浮上しました：透明性です。人間がミスを犯した場合、その論理を追跡できることがほとんどです。しかし、AIエージェントが失敗した場合、たとえばツール出力の幻覚や、50ステップのタスクの10ステップ目でのセキュリティポリシーの逸脱など、どこでなぜ問題が発生したかを特定するのは困難で手動のプロセスです。

本日、マイクロソフトリサーチは、エージェントの軌跡における「重大障害ステップ」を自動的に特定するように設計された、ドメインに依存しないフレームワークAgentRx（エージェント診断）をオープンソース化することを発表しました。同時に、115の手動注釈付き失敗軌跡を含むAgentRxベンチマークも公開し、コミュニティがより透明で回復力のあるエージェントシステムを構築するのを支援します。

最新のAIエージェントは、長時間にわたって多数のアクションを実行する長期的な性質、同じ入力が異なる出力を生成する確率的な性質、そして障害がエージェント間で受け渡され根本原因を隠すマルチエージェント的な性質を持っています。従来の成功指標（「タスクが完了したか」など）では十分な情報が得られません。安全なエージェントを構築するには、軌跡が回復不能になる正確な瞬間を特定し、そのステップで何が問題だったかの証拠を取得する必要があります。

AgentRxは構造化されたマルチステージパイプラインを採用しています。まず軌跡の正規化：異なるドメインからの異種ログを共通の中間表現に変換します。次に制約合成：ツールスキーマ（例：「APIは有効なJSON応答を返す必要がある」）とドメインポリシー（例：「ユーザーの確認なしにデータを削除してはならない」）から実行可能な制約を自動生成します。続いてガード評価：AgentRxは制約を段階的に評価し、ガード条件が適用される場合のみチェックを行い、証拠に基づいた違反の監査可能なログを生成します。最後にLLMベースの判定：LLM判定器が検証ログと事実に基づく障害分類法を使用して、最初の回復不能なエラーである重大障害ステップを特定します。

AgentRxを評価するために、研究チームは3つの複雑なドメイン（τ-bench: 小売・サービスの構造化APIワークフロー、Flash: 現実世界のインシデント管理とシステムトラブルシューティング、Magentic-One: 汎用マルチエージェントシステムによるオープンなWeb・ファイルタスク）にわたる115の失敗軌跡を含むベンチマークを開発しました。グラウンデッドセオリーアプローチを用いて、これらのドメインに一般化可能な9カテゴリの障害分類法を導き出しました。これにより、開発者は「計画遵守失敗」（エージェントが自身のステップを無視した）と「新情報の捏造」（幻覚）を区別できます。

実験結果では、AgentRxは既存のLLMベースのプロンプティングベースラインと比較して、障害位置特定精度で23.6%の絶対的改善、根本原因帰属で22.9%の改善を示しました。監査可能なログを通じて障害の「理由」を提供することで、AgentRxは開発者が試行錯誤的なプロンプティングから体系的なエージェント工学へと移行できるようにします。

マイクロソフトリサーチはAgentRxフレームワークと完全な注釈付きベンチマークをオープンソース化し、研究者や開発者が自身のエージェントワークフローの診断に利用し、障害制約のライブラリに貢献することを呼びかけています。