AI エージェントは、本番環境にデプロイされた後も、モデルの進化、ユーザー行動の変化、想定外のコンテキストでのプロンプトの再利用などにより、徐々に品質が低下することがあります。従来の改善プロセスでは、開発者が手動でトレースを確認し、仮説を立て、プロンプトを書き換え、少数のケースをテストして修正をデプロイしていました。このサイクルは非効率で、新たな問題を引き起こすことも少なくありません。
Amazon Web Services は本日、Amazon Bedrock AgentCore の新機能として、エージェントの品質向上のための「観察・評価・改善」ループを完成させるプレビュー版を発表しました。この機能は、レコメンデーション、バッチ評価、A/B テストの 3 つの要素で構成されます。レコメンデーションは、プロダクションのトレースと評価出力を分析し、システムプロンプトやツールの説明を最適化するための提案を生成します。バッチ評価は、事前に定義されたテストデータセットに対して提案を検証し、重要なユースケースでの回帰を検出します。手作業でシナリオを準備できない場合は、LLM を利用してエンドユーザーを模倣したデータセットをシミュレートすることも可能です。A/B テストは、AgentCore Gateway を通じてプロダクショントラフィックを分割し、設定した割合でバリアントを比較し、信頼区間と統計的有意性をレポートします。
このループは、例えばモデルアップグレードのシナリオで具体的に動作します。AgentCore のエンドツーエンドのトレーサビリティは、すべてのモデル呼び出し、ツール呼び出し、推論ステップを OpenTelemetry 互換のトレースとしてキャプチャします。評価機能は、目標達成率、ツール選択の正確性、有用性、安全性などの次元で自動的にスコアリングします。開発者は、レコメンデーション API を使用してトレースが書き込まれる CloudWatch Log グループを指定し、最適化したい評価指標（報酬シグナル）を選択します。AgentCore はトレースを考慮し、その報酬シグナルを改善するためのレコメンデーションを生成します。変更は構成バンドルとしてパッケージ化され、不変でバージョン管理されたスナップショットとして保存されます。エージェントは実行時に動的にアクティブな構成を読み込むため、プロンプトやモデルの交換はコード変更ではなく構成変更となります。
NTT データや野村総合研究所などの顧客は、すでにこれらの機能を活用しています。彼らは、従来数週間を要していた手動のプロンプトチューニングが、AgentCore を使用することで迅速かつ反復可能なサイクルに進化したと述べています。プロダクションのトレースデータから改善のレコメンデーションを導出し、A/B テストでその影響を検証することで、組織は精度と有効性を確保しながら、大規模に継続的な最適化を実現できます。
将来のビジョンとして、このループはさらに自動化される予定です。レコメンデーションは複数の評価指標を考慮し、トレードオフを明確にします。最適化の対象はスキルにも拡大され、プロダクションの使用状況に基づいて新しいスキルの提案や既存スキルの改良が行われます。トレース分析はプロダクションの障害をパターン化し、問題が拡大する前に対処できるようにします。モニタリングアラームは、評価指標がしきい値を下回ったときに自動的にレコメンデーションと検証をトリガーし、結果をレビューキューに送ります。開発者は出荷するものを決定し、システムはそこに到達するための重労働を代行します。
このプレビュー版は、AgentCore Evaluations が利用可能な AWS リージョンで、Amazon Bedrock AgentCore を通じて提供されています。プレビュー期間中、AgentCore Optimization は、AgentCore Runtime にデプロイされ、AgentCore Observability と Evaluations を使用しているエージェントのシステムプロンプトとツール説明を対象としています。開発者は AgentCore コンソールまたは CLI から開始でき、ドキュメントとステップバイステップのチュートリアルを参照できます。