本文にスキップ
AI News HubLIVE
サイト内リライト6 分で読了

Amazon Bedrock AgentCore Observability による本番エージェントの最適化

記事の要約

Amazon Bedrock AgentCore Observability と Amazon CloudWatch を使用して、本番環境の AI エージェントのパフォーマンスボトルネックを特定し、長時間セッションのメモリ問題を診断する方法を解説します。監視のベストプラクティスも紹介します。

ソースAWS Machine Learning Blog著者: Joshua Lacy
Amazon Bedrock AgentCore Observability による本番エージェントの最適化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

AI エージェントがプロトタイプから本番環境へ移行するにつれ、課題は「動作させること」から「高速かつ効率的に保つこと」へと変わります。本シリーズのパート 1 では、無限ループとツール呼び出しエラーという 2 つの一般的なエージェント障害のデバッグについて説明しました。これらのシナリオは壊れたエージェントを扱っていました。今回は、別の課題に取り組みます。正しく動作するがパフォーマンスが低いエージェントです。応答時間の遅さとメモリの無制限な増加は、初期のデバッグ問題を解決した後に表面化する最も一般的な運用上の問題です。これらはエラーアラートをトリガーしませんが、時間の経過とともにユーザーの信頼を損ない、コストを増加させます。

Amazon Bedrock AgentCore の機能である AgentCore Observability と Amazon CloudWatch を使用して、エージェントの実行パス全体のパフォーマンスボトルネックを特定し、長時間セッションのメモリ問題を診断する方法を学びます。また、ユーザーが気づく前にパフォーマンス低下を検出する監視プラクティスを実装します。詳細とベストプラクティスについては、AgentCore Evaluations と AgentCore Insights を参照してください。

前提条件:Amazon Bedrock AgentCore へのアクセス権を持つ AWS アカウント、CloudWatch Transaction Search の有効化、デプロイ済みのエージェントが必要です。完全なセットアップの詳細はパート 1 を参照してください。

シナリオ 3:パフォーマンスボトルネック

エージェントが正しく動作するが応答が遅すぎる場合、パフォーマンスボトルネックが発生します。サブ秒の応答を期待しても、数秒の遅延が発生します。エージェントはタスクを正常に完了しますが、レイテンシのため対話型ユースケースには実用的でありません。このシナリオは「遅い」という感覚が主観的であるため、特に困難です。バッチ処理エージェントにとって許容できる速度は、カスタマーサービスチャットボットにとっては許容できません。特定のユースケースのパフォーマンスバジェットを確立し、どのコンポーネントがバジェットに違反しているかを体系的に特定する必要があります。

監視すべき症状:パフォーマンス低下は徐々に現れることがよくあります。エージェントは最初は許容できる 2 秒の応答時間で開始しますが、機能を追加したり、より多くのツールを統合したり、メモリを蓄積したりするにつれて、レイテンシは 5 秒、10 秒と忍び寄り、使用できなくなります。P95 応答時間がしきい値を超え、ユーザーはセッションを放棄しますが、エラー率は低いままです。エージェントは正しく動作しますが、応答が遅すぎます。

ボトルネックを見つけるには、まず高レイテンシのリクエストを特定します。パフォーマンスバジェットを超えるエージェント呼び出しを CloudWatch でクエリします:

fields @timestamp, RequestId, Latency | filter Operation like /InvokeAgent/ | filter Latency > 3000 | sort Latency desc | limit 50

このクエリは、3 秒以上かかったエージェント呼び出しをレイテンシでソートして返します(要件に応じてしきい値を調整してください)。代表的な高レイテンシリクエストを選択し、その RequestId をメモします。

次に、リクエストタイムラインを分析して、時間がどこに費やされているかを理解します:

fields @timestamp, Operation, Duration, SpanName | filter RequestId = "<your-request-id>" | sort @timestamp asc

このクエリは、リクエスト内の操作のシーケンスと各操作の所要時間を示します。不釣り合いな時間を消費する操作を探します。一般的な原因には、メモリ取得操作、ツール呼び出し、トークン生成、並列実行可能な逐次操作が含まれます。

メモリ取得のレイテンシを特に確認します:

fields @timestamp, MemoryRetrievalLatency, MemoryNamespace | filter RequestId = "<your-request-id>" | stats avg(MemoryRetrievalLatency), max(MemoryRetrievalLatency) by MemoryNamespace

メモリ取得は 200 ミリ秒未満で完了する必要があります。これは、対話型アプリケーションでユーザーが顕著な遅延を感知し始めるポイントです。それ以上のレイテンシは、非効率なメモリ構成を示します。

ツール呼び出しのレイテンシを調べて、遅い統合を特定します:

fields @timestamp, ToolName, ToolLatency | filter RequestId = "<your-request-id>" | sort ToolLatency desc

このクエリは、全体的なレイテンシに最も寄与するツールを特定します。単一の遅いツールがエージェントワークフロー全体のボトルネックになる可能性があります。

根本原因分析:パフォーマンスボトルネックは通常、3 つの根本原因に起因します。遅いツール実行は、外部ツールが最適化不足、過負荷、またはネットワーク問題により応答に数秒かかる場合に発生します。逐次呼び出しでレイテンシが累積するため、2 秒のツールを 3 回呼び出すと 6 秒のボトルネックになります。過剰なトークン生成は要因です。基盤モデル(FM)はトークンを順次生成するため、500 トークンの応答は 100 トークンの応答より 5 倍時間がかかり、レイテンシとコストの両方に影響します。最後に、逐次処理(独立した操作を並列ではなく 1 つずつ実行)はコストと計算時間の両方を増加させます。

修正方法:遅いツール実行には、キャッシュ、接続プーリング、適切なデータベースインデックスを実装して応答時間を短縮します。タイムアウト制限を設定し、より高速な代替ツールを検討します。ツールが一貫して遅い場合は、個別にプロファイリングします。問題はツールのロジック自体ではなく、ネットワークレイテンシ、コールドスタート、またはリソース競合にある可能性があります。

メモリ取得には、単一の大きな名前空間をトピック固有のパーティション(設定、履歴、ドメイン知識など)に置き換えて検索スペースを縮小します。古い会話は逐語的に保存するのではなく、コンパクトなエントリに要約し、名前空間ごとにサイズ制限を設定します(例:設定 100 件、最近のメッセージ 50 件、ドメイン知識 500 件)。

トークン生成には、プロンプトを最適化して、より詳細が要求されない限り 2〜3 文の簡潔で直接的な回答を促します。明示的な長さ制約を追加し、トークン使用量を監視して、予期しない長い応答にアラートを出します。

逐次処理には、独立したツール呼び出しを並列で実行します。合計 4.5 秒(2 秒 + 1.5 秒 + 1 秒)の逐次呼び出しは、並列化するとわずか 2 秒になり、最小限の労力でレイテンシを 50% 以上削減できることがよくあります。最適化を検証するには、「ボトルネックの特定」セクションのレイテンシクエリを再実行します。P95 応答時間がパフォーマンスバジェット内に収まり、タイムラインが予想どおり並列実行を示していることを確認します。

シナリオ 4:長時間セッションにおけるメモリ問題

エージェントがメモリ使用量が無制限に増加するセッションを維持すると、長時間セッションでメモリ問題が発生します。エージェントはコンテキストを蓄積し、最終的にトークン制限に達したり、重要なコンテキストを失ったり、利用可能なメモリを使い果たしたりします。セッションが予期せず失敗し、会話状態が失われます。このシナリオは、カスタマーサービスセッション、リサーチアシスタント、監視エージェントなど、拡張ワークフローをサポートするエージェントにとって特に問題です。適切なメモリ管理がないと、これらのユースケースは非実用的になります。

監視すべき症状:異常に長いエージェントセッションが存在する場合、トークン使用量はセッション期間とともに線形に増加します。メモリストアが増大するにつれて、メモリ取得レイテンシが時間とともに増加します。セッションはメモリ不足エラーまたはコンテキストウィンドウ超過エラーで予期せず終了します。

メモリ使用量が多い長時間実行セッションを特定するには:

fields @timestamp, SessionId, SessionDuration, MemorySize, TokenUsage | filter SessionDuration > 3600 | sort MemorySize desc | limit 20

このクエリは、1 時間(3600 秒)以上続くセッションをメモリサイズでソートして返します。メモリ使用量が異常に高いセッションを選択し、その SessionId をメモします。

メモリ抽出パターンを調べて、統合が行われていることを確認します:

fields @timestamp, MemoryExtractionStatus, MemoryExtractionLatency, MemoriesExtracted | filter SessionId = "<your-session-id>" | sort @timestamp asc

メモリ抽出はセッション全体で定期的に行われる必要があります。長期間抽出が行われないギャップがある場合、エージェントはメモリを適切に統合していません。

メモリ抽出の失敗を確認します:

fields @timestamp, ErrorMessage, MemoryExtractionStatus | filter SessionId = "<your-session-id>" | filter MemoryExtractionStatus = "Failed"

メモリ抽出の失敗は、エージェントがコンテキストを統合するのを妨げ、無制限の増加を引き起こします。一般的な失敗理由には、要約時のトークン制限超過、処理できない無効なメモリ形式、メモリストレージへの書き込み時のネットワークタイムアウト、メモリ更新をブロックする権限エラーが含まれます。

メモリ名前空間の構成を分析します:

fields @timestamp, MemoryNamespace, MemoryCount, MemorySize | filter SessionId = "<your-session-id>" | stats sum(MemoryCount) as TotalMemories, sum(MemorySize) as TotalSize by MemoryNamespace | sort TotalSize desc

メモリは名前空間全体に分散されます。不適切な名前空間構成は、非効率なメモリ取得と統合につながる可能性があります。単一の名前空間に数千のメモリが含まれている場合、それはエージェントがより良いメモリ構成を必要としていることを示す危険信号です。

根本原因分析:メモリ問題は通常、設定ミスに起因します。

修正方法:メモリ問題を解決するには、メモリ戦略に統合設定が含まれていることを確認し、AgentCore メモリがレコードを無期限に蓄積するのではなく、時間の経過とともにマージおよび要約するようにします。戦略定義の名前空間テンプレートを使用してレコードを整理し、取得が関連コンテキストにスコープされるようにします。eventExpiryDuration を設定して、生イベントの保持期間(7〜365 日)を制御します。実装の詳細については、AgentCore メモリの実装を参照してください。

本番環境のベストプラクティス

両パートで 4 つの障害シナリオをカバーしたので、次に、問題が発生する前に阻止する本番環境のベストプラクティスに移ります。これまでに説明したトラブルシューティングワークフローは、問題が発生したときに対応するのに役立ちますが、適切に設計された可観測性戦略は、問題をプロアクティブに捉えるのに役立ちます。AgentCore と CloudWatch の統合は、このプロアクティブなアプローチの基盤を提供し、エージェントの健全性とパフォーマンスに対するリアルタイムの可視性を実現します。

本番エージェント、メモリシステム、ゲートウェイの包括的な計装を有効にします。CloudWatch ログ、CloudWatch メトリクス、OpenTelemetry トレースを構成します。

重要なメトリクスに CloudWatch アラームを構成します。エラー率(5%)、95 パーセンタイル(P95)レイテンシ(3 秒)、セッションあたりのトークン使用量のしきい値を設定します。ユーザーが問題を報告するのを待たないでください。メトリクスが許容しきい値を超えたときに CloudWatch が通知するようにします。

運用ダッシュボードを作成します。合計呼び出し数(過去 24 時間)、エラー率(現在とベースラインの比較)、P50/P95/P99 レイテンシ、トークン使用傾向、アクティブセッション数を示すプライマリダッシュボードを構築します。エージェント固有の呼び出しパターン、ツール使用の内訳などを示すエージェントごとのダッシュボードを作成します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • CloudWatch クエリで高レイテンシリクエストを特定し、リクエストタイムラインを分析してボトルネックを突き止めます。
  • 一般的な根本原因は、遅いツール実行、過剰なトークン生成、逐次処理です。キャッシュや並列化で修正できます。
  • 長時間セッションのメモリ問題は、トークン使用量の線形増加やメモリ抽出の失敗として現れます。統合戦略と名前空間管理を設定します。
  • 本番環境のベストプラクティスには、包括的な計装、CloudWatch アラーム、運用ダッシュボードが含まれます。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。