在 Amazon Bedrock AgentCore 中構建自定義基於代碼的評估器

在金融和專業領域，代理的質量維度往往超越語言層面。市場情報代理必須以可配置的實時波段報價股票價格，在訪問財務檔案前必須遵循強制性的經紀人識別工作流，返回符合嚴格 JSON 模式的工具輸出，並禁止泄露個人身份信息（PII）。這些檢查需要確定性代碼，在相同輸入上產生相同結果。當客觀代碼是直接選擇時，使用 LLM-as-a-Judge 運行這些檢查可能成本高昂。

Amazon Bedrock AgentCore Evaluations 提供了 LLM-as-a-Judge 檢查和可擴展的基於代碼的評估器，以捕獲評估代理應用所需的領域特定需求。通過自定義代碼評估器，您可以引入 AWS Lambda 函數作為評估引擎，控制評分邏輯：正則表達式和結構驗證、外部數據查找、其他服務調用或業務規則。同一評估器可以多種方式使用，無需為每個請求消耗基礎模型令牌。在按需評估中，它作為開發工作流和 CI/CD 流水線中的門禁；在在線評估設置中，它可以對實時生產流量進行評分。即使跟蹤來自不同的代理框架，您也可以使用此方法通過自己的邏輯一致地評估代理質量。

適合代碼評估的質量維度

代理依賴結構化工具輸出（如 JSON）。工具響應模式驗證在工具邊界捕獲結構問題，很適合作為基於代碼的檢查，而 LLM-as-a-Judge 評估器則補充評判有用性和清晰度。數值精度方面，代碼評估器調用參考系統、計算容差並標記每個差異，比 LLM 更可靠。工作流合約合規性要求代理遵循特定工具序列，代碼評估器可檢查會話中的工具調用順序。PII 檢測方面，代碼評估器調用 PII 檢測或秘密掃描服務，在響應內容上強制執行硬性規則。

評估器生命週期：從跨度到評分結果

代碼評估器是向 AgentCore 控制平面註冊的 Lambda 函數。運行時，AgentCore 假設 IAM 角色，用包含代理 OpenTelemetry 跨度（OTel spans）的負載調用 Lambda，並將響應寫入 CloudWatch Logs 作為評估結果。負載包含模式版本、評估器 ID、名稱、級別和評估輸入對象。對於跟蹤級評估器，還有一個 target 字段標識特定跟蹤。對於會話級評估器，Lambda 對整個會話評分。

Lambda 響應遵循固定契約：成功時返回包含標籤（如 PASS/FAIL）、可選分數（0.0-1.0）和可選解釋字符串的字典；失敗時返回包含錯誤代碼和錯誤消息的字典。每個成功響應必須包含標籤。分數和解釋可選，但直接用於 CloudWatch 指標和 AgentCore Observability 儀表板。每個評估器在註冊時設置三個級別之一：TRACE、TOOL_CALL 或 SESSION。

按需和在線模式

AgentCore Evaluations 支持兩種模式下的代碼評估器。一個評估器 ID 用於開發、測試、CI/CD 門禁和生產監控。Lambda 合約在兩種模式下保持不變。按需評估適用於開發迭代、迴歸測試和 CI/CD 部署門禁。一個按需調用最多可引用 10 個評估器。在線評估持續採樣實時代理流量，並按計劃評分。需要創建一次在線評估配置，指定評估器、數據源（CloudWatch 日誌組和 OTel 服務名稱）和採樣百分比（0.01-100%）。AgentCore 負責定期安排評估，並將結果寫入專門的 CloudWatch 日誌組。每個評估器分數也作為 CloudWatch 指標顯示，可用於構建儀表板和配置告警。

解決方案概述

示例中使用市場趨勢代理，這是一個基於 LangGraph 構建並部署到 Amazon Bedrock AgentCore Runtime 的投資情報助手。代理提供股票數據、多來源新聞分析和經紀人檔案工具。示例包含四個評估器：ToolResponseSchemaValidator（跟蹤級別）、StockPriceDriftChecker（跟蹤級別）、WorkflowContractGSR（會話級別）和 PII 檢測器。通過這些評估器，代理質量從“聽起來正確”提升到“合約驗證”。

自定義代碼評估器為代理質量評估提供了強大的靈活性，能夠處理領域特定的結構化檢查，與 LLM-as-a-Judge 評估器共同構建全面的質量評估體系。