在人工智能领域，智能体在生产环境中部署后，其性能往往会随着时间推移而逐渐下降。模型更新、用户行为变化以及提示词被用于未曾预料的上下文等因素，都可能导致智能体质量悄无声息地退化。传统的改进方式依赖开发者手动翻阅追踪记录、形成假设、重写提示词、测试少数案例，然后部署修复。这种循环不仅效率低下，还常常引入新的问题。
亚马逊云科技今天宣布，Amazon Bedrock AgentCore 推出预览版优化功能，通过完整的“观察-评估-改进”闭环帮助开发者系统性地提升智能体质量。该功能包括两个核心验证手段：批量评估和 A/B 测试。建议功能会分析生产追踪和评估输出，针对系统提示或工具描述生成优化建议。批量评估允许开发者使用预定义测试数据集测试建议，报告聚合分数，以检测已知重要案例的回归。当手工编写的场景不足时，还可以利用大语言模型模拟用户行为生成数据集。A/B 测试通过 AgentCore Gateway 在生产流量中运行控制实验，按配置百分比分流并报告置信区间和统计显著性。
整个循环以可重复的流程运行。以模型升级场景为例：AgentCore 的端到端追踪能力会捕获每次模型调用、工具调用和推理步骤。评估功能自动从目标成功率、工具选择准确度、帮助性和安全性等维度对追踪打分。开发者通过建议 API 指向追踪日志组，选择优化目标，AgentCore 就会生成一个旨在提升特定评估指标的建议。变更被打包为不可变、版本化的配置包，智能体在运行时动态读取配置，因此切换提示词或模型只是配置变更，无需修改代码。之后，开发者可以离线运行批量评估，或通过 A/B 测试在实时流量中验证变更，最后将优胜版本提升为默认配置。
NTT DATA 和野村综合研究所等客户已经在使用这些功能。他们认为，传统上需要数周的人工提示调参过程，现在变成了快速、可重复的循环。AgentCore 优化功能通过从生产追踪数据中推导改进建议，并用 A/B 测试验证其影响，使组织能够大规模持续优化性能，同时确保准确性和有效性。
未来的方向是让飞轮自动旋转。建议将综合考虑多个评估指标，揭示权衡关系；优化范围将扩展到技能层面；追踪分析将把生产故障聚类为可处理的模式；监控告警将在检测到某评估指标低于阈值时自动触发建议和验证流程。开发者只需审核结果，系统完成繁重的工作。
预览版目前已在美国东部（弗吉尼亚北部）等推出 AgentCore Evaluations 的区域上线。优化功能支持目标系统提示和工具描述，要求智能体部署在 AgentCore Runtime 并使用 AgentCore Observability 和 Evaluations。开发者可以通过 AgentCore 控制台或 CLI 开始使用，并查看文档和分步教程。