Amazon Bedrock AgentCore最適化によるサイレントエージェント障害の検出

大規模にAIエージェントを運用している場合、ダッシュボードがすべて緑色（99%の完了率、健全なレイテンシ、ゼロエラースパイク）でも、顧客から誤った結果に関する苦情が寄せられる現象を経験したことがあるでしょう。例えば、注文変更が実際には実行されていない、在庫APIがタイムアウトしたにもかかわらず「在庫あり」と表示される、承認ステップがスキップされるなどです。これらは動作障害であり、インフラストラクチャの問題とは異なります。システムの観点からは正常に完了し、ヘルスチェックに合格し、顧客からのエスカレーションでのみ表面化し、多くの場合、ユーザーに影響を与えてから数週間後になります。

エラー信号を生成する障害でさえ、別の課題があります。1日数千セッションを処理するエージェントが数百のエラーを蓄積した場合、どれを優先すべきでしょうか？個々のトレースを確認すると1つのセッションで何が起こったかはわかりますが、トラフィックの30%に影響するパターンなのか、3セッションだけのエッジケースなのかはわかりません。

Amazon Bedrock AgentCore最適化が提供するインサイトは、デプロイ済みのAIエージェントにおける動作障害（エラー信号を生成しないサイレント障害を含む）を発見、説明、優先順位付けするのに役立ちます。これらのインサイトは、可観測性モデルを受動的なトレース検査から能動的なパターン検出にシフトさせます。障害の発見、範囲の理解、優先順位に基づく修正を支援します。

AgentCore最適化のインサイトの機能

インサイトは既存の可観測性スタックの1層上で動作します。ツールが既に収集しているトレースデータを消費し、実用的な行動インテリジェンスに変換します。これにより、個々のセッション障害を超えて、大規模なエージェントパフォーマンスに影響する広範なパターンを理解するための調査能力を提供します。

インサイトレポートは以下を提供します：

ランク付けされた障害パターン発見と根本原因分析：事前定義されたカテゴリやフィルターなしで、数百のセッションにわたるランク付けされたクラスタを明らかにします。影響を受けるセッションをカバーする集約された説明がクラスタごとに提供され、個々のトレースを開かなくても行動可能なほど具体的です。パターンは影響を受けるセッションの割合で順序付けられるため、重要な問題がエッジケースとすぐに区別できます。

ユーザー意図分析：さまざまなシナリオでユーザーがエージェントとどのように対話するかを明らかにします。本番環境のエージェントは、意図された設計から逸脱したリクエストを頻繁に受け取ります。意図分析は、ユーザーが実際に何を求めているかの分布を示し、対処すべきカバレッジギャップと実施すべきスコープ境界を明らかにします。

実行インサイト：さまざまなシナリオでエージェントがどのように応答するかを明らかにします。実行インサイトは、エージェントが採用する戦略、セッション中のアクションの進行、およびエージェントの実際の動作が意図された設計からどこで乖離するかを示します。これにより、「エージェントに何をさせるつもりか」と「エージェントが実際に大規模に行っていること」のギャップを埋めます。

障害パターン発見

AgentCoreは各セッショントレースを、動作障害タイプの構造化された分類法と照らし合わせて分析します。幻覚、誤ったアクション、タスク命令違反、オーケストレーションエラー、コンテキスト処理の問題など、11のカテゴリを検出します。この分析は、エラー信号のみに依存するのではなく、ポリシー準拠と動作の正確性について推論します。このアプローチによりサイレント障害を検出できます。検出された各障害は、トレース内の位置、カテゴリ、問題の自然言語説明を生成します。次にインサイトが説明をクラスタにグループ化し、数百の個別トレースエントリではなく、数百セッションにわたる単一の名前付きパターンを表面化します。

各障害クラスタについて、AgentCoreは実行グラフを逆方向にトレースして障害の原因を特定します。セッションはスパン（推論呼び出し、ツール実行、サブエージェント呼び出し）のグラフとして表現され、システムは因果関係を推論する前に障害に関係のないブランチをpruneします。このpruningにより、長いセッションでのRCAが実用的になり、50ステップのワークフローを障害につながる特定の実行パスに絞り込みます。出力は、根本原因の位置（ログ内のスパンID）、因果関係の分類、および修正推奨（システムプロンプトの変更、ツール説明の更新、インフラストラクチャ作業）を表面化します。その後、クラスタ内で根本原因がグループ化されます。100の障害のうち90が同じ根本原因と修正タイプを共有していることがわかるかもしれません。

クラスタリング自体はどのような障害が存在するかを示します。スコープランキングはどれが最も重要かを示します。各障害クラスタは影響を受けたセッションの数を持ち、クラスタはその数が総分析セッション数に占める割合で順序付けられます。2レベルの階層は、広範な障害カテゴリと特定のサブパターンを分離します。

ユーザー意図分析

障害に加えて、AgentCoreはエージェント動作の2つの追加ビューを抽出します。ユーザーリクエストクラスタリングは、ユーザーがエージェントに送信する実際のプロンプトを埋め込み、グループ化し、本番環境でのユースケースの分布を明らかにします。トラフィックの40%が設計したユースケース、30%が部分的にサポート、残りの30%が予期していなかったものかもしれません。

実行インサイト

実行サマリーは、各セッションでエージェントが取ったアプローチと到達した結果を抽出します。異なる長さのセッションを処理する階層的サマリー戦略を使用します。次にAgentCoreがこれらのサマリーをクラスタリングして実行パターンを明らかにします。これには、エージェントが採用する一般的な戦略、それらの戦略が成功または失敗とどのように相関するか、およびエージェントの実際の動作が意図された設計からどこで乖離するかが含まれます。

インサイトの設定

Amazon Bedrock AgentCoreの可観測性にテレメトリが記録されたエージェントがある場合、インサイトを使用して障害モード、ユーザー意図、実行サマリーを把握できます。AgentCoreコンソールの「最適化 > インサイト > インサイトの作成」からインサイト設定を作成できます。

分析するタイプ（障害分析、ユーザー意図分析、実行サマリー）を選択します。これらは独立して実行することも、組み合わせて実行することもできます。エージェントの接続方法は2つあります：AgentCoreランタイム経由でデプロイされたエージェントエンドポイントを選択するか、CloudWatchロググループを直接指定します。スケジュールを設定：定期的に自動レポートを生成するか、特定の時間範囲で1回限りのレポートを生成します。オプションで、フィルターとサンプリングを使用して分析範囲を特定のセッション基準に限定したり、トラフィックのサブセットをサンプリングしたりできます。構成後、「インサイトの作成」を選択すると処理が開始されます。

実際の例

投資分析、株式推奨、セクターパフォーマンスデータを提供する市場トレンドエージェントを考えます。10セッション実行後、各インサイト分析ビューは以下を示します。

障害分析は1つの障害カテゴリ「ツール呼び出しなしでの財務データの幻覚」を特定し、10セッション中1セッションに影響しました。エージェントは具体的な財務データポイント、市場レート、数値的クレームを生成し、利用可能なデータ取得ツールを呼び出さずに事実情報として提示しました。これは、クレームを行う前に実際のデータを取得するように指示したシステムプロンプトに違反しています。根本原因は、システムプロンプトが実際のデータに基づいて応答するよう指示しているが、事実表明の前にツール使用を強制する実施メカニズムが不足していることです。エージェントはデータ検証ステップをバイパスし、未検証の情報を権威あるものとして提示しました。この障害はエラーを生成せず、セッションは正常に完了しました。インサイトにより、根本原因、影響を受けた特定のセッション、および明確な修正パス（数値クレームの前にツール呼び出しを強制するようシステムプロンプトを強化）がわかります。

ユーザー意図分析は、収集されたトレースからユーザーリクエストの分布を自動的に表示します。ここでのユーザーリクエストは3つのカテゴリにクラスタリングされました：プロファイル取得とポートフォリオ評価（5/10）、マクロ経済とセクター分析（3/10）、複数銘柄比較と分析（2/10）。トラフィックの半分はプロファイルとポートフォリオの取得であり、信頼性の向上に優先的に投資すべき領域を示しています。

実行サマリーは、エージェントがセッション中に実際に実行したアクションを示し、その動作が設計意図からどのように乖離しているかを明らかにします。