Amazon Web Services は、Amazon Bedrock AgentCore のエージェント品質最適化機能のプレビューを発表しました。この機能は、AI エージェントのパフォーマンス劣化に対処するための観測、評価、改善のループを自動化します。
AI エージェントはリリース時は良好ですが、モデルの進化、ユーザー行動の変化、未設計のコンテキストでのプロンプト再利用により、品質が徐々に低下します。従来の手動デバッグサイクルに代わり、AgentCore はデータ駆動型のアプローチを提供します。
推奨事項生成機能は、本番トレースと評価出力を分析し、指定された評価器に対してシステムプロンプトまたはツール説明を最適化します。バッチ評価は事前定義されたテストデータセットで推奨事項をテストし、回帰を検出します。A/Bテストは AgentCore Gateway を使用してライブトラフィックを分割し、統計的信頼区間と有意差を報告します。
実際の運用では、開発者は推奨事項 API を CloudWatch ロググループに向け、報酬信号を選択し、最適化対象を指定します。変更は構成バンドルとしてパッケージ化され、AgentCore SDK で動的に読み込まれます。オフライン検証はバッチ評価、オンライン検証は A/Bテストで行われます。テスト結果に基づき、勝者バージョンをデフォルトとして昇格できます。
将来的には、推奨事項は複数の評価器を考慮し、スキルまで最適化範囲を拡大し、トレースから障害パターンを自動クラスタリングします。監視アラートが評価器の低下を検出すると、推奨と検証を自動起動し、結果をレビューキューに送ります。
開発者は GitHub の Market Trends Agent サンプルで完全な改善ループを体験でき、AgentCore コンソールまたは CLI から開始できます。