亚马逊云科技宣布 Amazon Bedrock AgentCore 推出代理质量优化功能预览版，旨在解决 AI 代理在生产环境中性能逐渐退化的问题。新功能包含建议生成、批量评估和 A/B 测试，形成完整的观察-评估-改进循环。
AI 代理在发布时表现良好，但随着模型演变、用户行为变化和提示词被用于未设计的新场景，代理质量会悄然下降。传统上，开发者需要手动阅读追踪、形成假设、重写提示词并测试，但这往往导致新问题。AgentCore 的新功能通过系统化数据驱动的方法替代了这一手动循环。
建议生成功能分析生产追踪和评估输出，为指定的评估器优化系统提示或工具描述。批量评估允许针对预定义测试数据集测试建议，并报告聚合分数，捕捉关键用例的回归。A/B测试通过 AgentCore Gateway 在实时代流量中分割比较版本，提供置信区间和统计显著性。这些功能共同取代了手动追踪阅读、猜测修复和盲目部署的循环。
实际运行中，开发者可以使用建议 API 指向 CloudWatch 日志组，选择奖励信号（内置或自定义评估器）并指定优化目标。更改作为配置包打包，配置包是不可变的版本化快照，通过 AgentCore SDK 动态加载。离线验证通过批量评估进行，在线验证通过 A/B测试。测试结果包括置信区间和 p 值，获胜版本可提升为默认配置。
未来，该循环将更加自动化：建议可综合考虑多个评估器，扩展优化表面到技能，并自动从追踪中聚类生产故障。监控警报可在评估器低于阈值时自动启动建议和验证，结果进入审核队列。
开发者可通过 GitHub 上的 Market Trends Agent 示例体验完整循环，或通过 AgentCore 控制台和 CLI 开始使用。