在人工智慧領域，智慧體在生產環境中部署後，其效能往往會隨著時間推移而逐漸下降。模型更新、使用者行為變化以及提示詞被用於未曾預料的上下文等因素，都可能導致智慧體質量悄無聲息地退化。傳統的改進方式依賴開發者手動翻閱追蹤記錄、形成假設、重寫提示詞、測試少數案例，然後部署修復。這種迴圈不僅效率低下，還常常引入新的問題。
亞馬遜雲科技今天宣佈，Amazon Bedrock AgentCore 推出預覽版最佳化功能，透過完整的“觀察-評估-改進”閉環幫助開發者系統性地提升智慧體質量。該功能包括兩個核心驗證手段：批次評估和 A/B 測試。建議功能會分析生產追蹤和評估輸出，針對系統提示或工具描述生成最佳化建議。批次評估允許開發者使用預定義測試資料集測試建議，報告聚合分數，以檢測已知重要案例的迴歸。當手工編寫的場景不足時，還可以利用大語言模型模擬使用者行為生成資料集。A/B 測試透過 AgentCore Gateway 在生產流量中執行控制實驗，按配置百分比分流並報告置信區間和統計顯著性。
整個迴圈以可重複的流程執行。以模型升級場景為例：AgentCore 的端到端追蹤能力會捕獲每次模型呼叫、工具呼叫和推理步驟。評估功能自動從目標成功率、工具選擇準確度、幫助性和安全性等維度對追蹤打分。開發者透過建議 API 指向追蹤日誌組，選擇最佳化目標，AgentCore 就會生成一個旨在提升特定評估指標的建議。變更被打包為不可變、版本化的配置包，智慧體在執行時動態讀取配置，因此切換提示詞或模型只是配置變更，無需修改程式碼。之後，開發者可以離線執行批次評估，或透過 A/B 測試在即時流量中驗證變更，最後將優勝版本提升為預設配置。
NTT DATA 和野村綜合研究所等客戶已經在使用這些功能。他們認為，傳統上需要數週的人工提示調參過程，現在變成了快速、可重複的迴圈。AgentCore 最佳化功能透過從生產追蹤資料中推導改進建議，並用 A/B 測試驗證其影響，使組織能夠大規模持續最佳化效能，同時確保準確性和有效性。
未來的方向是讓飛輪自動旋轉。建議將綜合考慮多個評估指標，揭示權衡關係；最佳化範圍將擴充套件到技能層面；追蹤分析將把生產故障聚類為可處理的模式；監控告警將在檢測到某評估指標低於閾值時自動觸發建議和驗證流程。開發者只需稽核結果，系統完成繁重的工作。
預覽版目前已在美國東部（弗吉尼亞北部）等推出 AgentCore Evaluations 的區域上線。最佳化功能支援目標系統提示和工具描述，要求智慧體部署在 AgentCore Runtime 並使用 AgentCore Observability 和 Evaluations。開發者可以透過 AgentCore 控制台或 CLI 開始使用，並檢視文件和分步教程。