在人工智能領域，智能體在生產環境中部署後，其性能往往會隨着時間推移而逐漸下降。模型更新、用户行為變化以及提示詞被用於未曾預料的上下文等因素，都可能導致智能體質量悄無聲息地退化。傳統的改進方式依賴開發者手動翻閲追蹤記錄、形成假設、重寫提示詞、測試少數案例，然後部署修復。這種循環不僅效率低下，還常常引入新的問題。
亞馬遜雲科技今天宣佈，Amazon Bedrock AgentCore 推出預覽版優化功能，通過完整的“觀察-評估-改進”閉環幫助開發者系統性地提升智能體質量。該功能包括兩個核心驗證手段：批量評估和 A/B 測試。建議功能會分析生產追蹤和評估輸出，針對系統提示或工具描述生成優化建議。批量評估允許開發者使用預定義測試數據集測試建議，報告聚合分數，以檢測已知重要案例的迴歸。當手工編寫的場景不足時，還可以利用大語言模型模擬用户行為生成數據集。A/B 測試通過 AgentCore Gateway 在生產流量中運行控制實驗，按配置百分比分流並報告置信區間和統計顯著性。
整個循環以可重複的流程運行。以模型升級場景為例：AgentCore 的端到端追蹤能力會捕獲每次模型調用、工具調用和推理步驟。評估功能自動從目標成功率、工具選擇準確度、幫助性和安全性等維度對追蹤打分。開發者通過建議 API 指向追蹤日誌組，選擇優化目標，AgentCore 就會生成一個旨在提升特定評估指標的建議。變更被打包為不可變、版本化的配置包，智能體在運行時動態讀取配置，因此切換提示詞或模型只是配置變更，無需修改代碼。之後，開發者可以離線運行批量評估，或通過 A/B 測試在實時流量中驗證變更，最後將優勝版本提升為默認配置。
NTT DATA 和野村綜合研究所等客户已經在使用這些功能。他們認為，傳統上需要數週的人工提示調參過程，現在變成了快速、可重複的循環。AgentCore 優化功能通過從生產追蹤數據中推導改進建議，並用 A/B 測試驗證其影響，使組織能夠大規模持續優化性能，同時確保準確性和有效性。
未來的方向是讓飛輪自動旋轉。建議將綜合考慮多個評估指標，揭示權衡關係；優化範圍將擴展到技能層面；追蹤分析將把生產故障聚類為可處理的模式；監控告警將在檢測到某評估指標低於閾值時自動觸發建議和驗證流程。開發者只需審核結果，系統完成繁重的工作。
預覽版目前已在美國東部（弗吉尼亞北部）等推出 AgentCore Evaluations 的區域上線。優化功能支持目標系統提示和工具描述，要求智能體部署在 AgentCore Runtime 並使用 AgentCore Observability 和 Evaluations。開發者可以通過 AgentCore 控制台或 CLI 開始使用，並查看文檔和分步教程。