亞馬遜雲科技宣佈 Amazon Bedrock AgentCore 推出代理質量最佳化功能預覽版，旨在解決 AI 代理在生產環境中效能逐漸退化的問題。新功能包含建議生成、批次評估和 A/B 測試，形成完整的觀察-評估-改進迴圈。
AI 代理在釋出時表現良好，但隨著模型演變、使用者行為變化和提示詞被用於未設計的新場景，代理質量會悄然下降。傳統上，開發者需要手動閱讀追蹤、形成假設、重寫提示詞並測試，但這往往導致新問題。AgentCore 的新功能透過系統化資料驅動的方法替代了這一手動迴圈。
建議生成功能分析生產追蹤和評估輸出，為指定的評估器最佳化系統提示或工具描述。批次評估允許針對預定義測試資料集測試建議，並報告聚合分數，捕捉關鍵用例的迴歸。A/B測試透過 AgentCore Gateway 在即時代流量中分割比較版本，提供置信區間和統計顯著性。這些功能共同取代了手動追蹤閱讀、猜測修復和盲目部署的迴圈。
實際執行中，開發者可以使用建議 API 指向 CloudWatch 日誌組，選擇獎勵訊號（內建或自定義評估器）並指定最佳化目標。更改作為配置包打包，配置包是不可變的版本化快照，透過 AgentCore SDK 動態載入。離線驗證透過批次評估進行，線上驗證透過 A/B測試。測試結果包括置信區間和 p 值，獲勝版本可提升為預設配置。
未來，該迴圈將更加自動化：建議可綜合考慮多個評估器，擴充套件最佳化表面到技能，並自動從追蹤中聚類生產故障。監控警報可在評估器低於閾值時自動啟動建議和驗證，結果進入稽核佇列。
開發者可透過 GitHub 上的 Market Trends Agent 示例體驗完整迴圈，或透過 AgentCore 控制台和 CLI 開始使用。