使用Amazon Bedrock AgentCore優化檢測靜默代理故障

如果你正在大規模運行AI代理，你可能經歷過一種難以檢測的現象：儀表盤顯示一切正常——99%的完成率、健康的延遲、零錯誤峯值，但客户投訴卻不斷湧入，指出結果不正確。例如，訂單修改從未真正執行、產品顯示“有貨”但庫存API已超時、審批步驟被跳過。這些是行為故障，與基礎設施問題不同：它們從系統視角看是成功完成的，通過了健康檢查，只有在客户升級時才會暴露，通常是在影響用户數週之後。

即使對於確實產生錯誤信號的故障，也存在另一個挑戰：當代理每天處理數千次會話並積累數百個錯誤時，哪些錯誤值得優先關注？查看單個跟蹤記錄可以顯示單個會話中發生了什麼，但無法告訴你這是一個影響30%流量的模式還是一個影響三個會話的邊緣情況。

Amazon Bedrock AgentCore優化提供的洞察可以幫助你發現、解釋和優先處理已部署AI代理中的行為故障，包括那些從不產生錯誤信號的靜默故障。這些洞察將可觀測性模型從被動跟蹤檢查轉變為主動模式檢測。它幫助你發現故障、瞭解其範圍，並按優先級順序進行修復。

AgentCore優化洞察的功能

洞察在你的現有可觀測性堆棧之上運行。它消耗你的工具已經收集的跟蹤數據，並將其轉化為可操作的行為智能。這提供了一種調查能力，幫助你瞭解影響代理性能的更廣泛模式，而不僅僅是單個會話故障。

洞察報告提供以下內容：

排名故障模式發現與根因分析：無需預定義類別或過濾器，即可在數百個會話中揭示排名聚類。每個聚類提供一個聚合解釋，涵蓋受影響的會話，足夠具體以便採取行動而無需打開單個跟蹤。模式按受影響會話的比例排序，因此關鍵問題可以立即與邊緣情況區分。

用户意圖分析：揭示用户如何在不同場景下與代理交互。生產中的代理經常收到與預期設計不同的請求。意圖分析顯示用户實際請求的分佈，揭示需要解決的覆蓋缺口和需要執行的邊界範圍，無需額外儀器化。

執行洞察：揭示代理在不同場景下的響應方式。執行洞察顯示代理採用的策略、會話中行動的進展，以及代理的實際行為與預期設計的偏差。這縮小了“我們構建代理的目的”與“代理實際執行的行為”之間的差距。

故障模式發現

AgentCore分析每個會話跟蹤，對照行為故障類型的結構化分類。它檢測11種類別，包括幻覺、錯誤操作、任務指令違反、編排錯誤、上下文處理問題等。該分析基於策略合規性和行為正確性進行推理，而不僅僅依賴錯誤信號。這種方法可以檢測靜默故障。每個檢測到的故障在跟蹤中產生位置、類別和自然語言描述。然後洞察將這些描述分組為聚類，從而在數百個會話中呈現一個單一命名模式，而不是數百個單獨的跟蹤條目。

對於每個故障聚類，AgentCore通過執行圖向後追溯以確定故障原因。會話表示為跨度圖（推理調用、工具執行、子代理調用），系統在推理因果關係之前修剪與故障無關的分支。這種修剪使得在長會話上進行的根因分析變得可行，將50步工作流程縮小到導致故障的特定執行路徑。輸出為根因位置（日誌中的跨度ID）、因果關係分類和修復建議（系統提示更改、工具描述更新或基礎設施工作）。然後洞察將根因分組到聚類中。你可能會看到100個故障中的90個共享相同的根本原因和相同的修復類型。

聚類本身告訴你存在哪些故障類型，而範圍排名告訴你哪些最重要。每個故障聚類攜帶受影響會話的數量，聚類根據該數量相對於總分析會話進行排序。兩級層次結構將廣泛的故障類別與特定的子模式分開。

用户意圖分析

除了故障之外，AgentCore還提取代理行為的兩個附加視圖。用户請求聚類嵌入並分組用户發送給代理的實際提示，揭示生產中的用例分佈。你可能會發現40%的流量是你設計的用例，另外30%部分支持，剩餘30%是你從未預料到的。

執行洞察

執行摘要提取代理在每個會話中採取的方法和達到的結果。它使用層次彙總策略處理不同長度的會話。然後AgentCore對這些摘要進行聚類以揭示執行模式，包括代理採用的常見策略、這些策略如何與成功或失敗相關，以及代理實際行為與預期設計的偏差。

設置洞察

當你有一個代理在Amazon Bedrock AgentCore可觀測性中記錄了遙測數據時，你可以使用洞察來了解該代理的故障模式、用户意圖和執行摘要。可以從AgentCore控制台下的“優化 > 洞察 > 創建洞察”創建洞察配置。

選擇要分析的類型：故障分析、用户意圖分析和執行摘要。它們可以獨立運行或組合運行。連接代理有兩種選擇：選擇通過AgentCore運行時部署的代理端點，或直接指向CloudWatch日誌組。設置計劃：定期運行自動生成報告，或一次性生成特定時間範圍的報告。可選：過濾器和採樣可以限定分析範圍或對流量子集採樣。配置完成後，創建洞察即可開始處理。

實際案例

考慮一個提供投資分析、股票推薦和行業表現數據的市場趨勢代理。運行10個會話後，每個洞察分析視圖顯示以下內容：

故障分析識別出一個故障類別：“幻覺金融數據而未調用工具”，影響10個會話中的1個。代理生成了具體的金融數據點、市場利率和數字聲明，並將其作為事實信息呈現，而未調用可用的數據檢索工具。這違反了系統提示中關於在提出聲明前檢索實際數據的指令。根因是系統提示告訴代理以實際數據為基礎，但缺乏足夠的執行機制來強制在使用工具前提出事實斷言。代理繞過了數據驗證步驟，將未經核實的信息呈現為權威。此故障未產生錯誤，會話成功完成。通過洞察，你可以看到根因、受影響的特定會話以及明確的修復路徑：加強系統提示以強制在數字聲明前調用工具。

用户意圖分析自動從收集的跟蹤中顯示用户請求的分佈。這裏用户請求聚為3類：檔案檢索和投資組合評估（5/10）、宏觀經濟和行業分析（3/10）、多股票比較和分析（2/10）。一半流量是檔案和投資組合檢索，這告訴你應該優先投資這些方面的可靠性。

執行摘要顯示代理在會話中實際執行的操作，揭示其行為與設計意圖的偏差。