AI News HubLIVE
站内改写

從資料過載到可操作洞察:Verizon Connect如何將智慧代理AI擴充套件至10萬使用者

Verizon Connect利用AWS構建智慧代理AI解決方案,每天將超過5000萬資料點轉化為10萬使用者的可操作洞察。本文詳細介紹了其架構決策、實施挑戰和可衡量的成果,包括使用無伺服器統計模型進行異常檢測、採用Strands Agents實現動態推理、以及透過Amazon Nova Lite將輸入令牌成本降低70%。

文章情報

工程師進階

要點

  • Verizon Connect透過智慧代理AI處理每日5億資料點,為10萬使用者提供洞察。
  • 採用無伺服器統計模型進行異常檢測,避免LLM處理原始表格資料的侷限性。
  • 使用兩階段代理架構:先聚合生成摘要洞察,再透過工具呼叫進行詳細調查。
  • 透過Amazon Nova Lite最佳化成本,相比Claude Haiku降低70%輸入令牌成本。

為什麼重要

這條新聞值得關注,因為Verizon Connect透過智慧代理AI處理每日5億資料點,為10萬使用者提供洞察。

技術影響

可能影響模型選型、推理成本、產品能力和評測基準。

Verizon Connect是一家全球車隊管理解決方案提供商,其Reveal平臺每天處理超過1.2億活躍車輛訂閱產生的5億個資料點,涵蓋8萬個獨特資料指標。面對如此龐大的資料量,車隊管理者難以透過手動分析發現關鍵模式。為此,Verizon Connect選擇了智慧代理AI(Agentic AI)而非傳統的靜態儀表板或規則自動化系統,以動態探索新模式並適應車隊的不可預測性。

**可擴充套件的架構設計** 解決方案的核心包括四個部分:異常檢測、並行化請求管理、洞察生成引擎以及儲存。整個工作流由每日觸發器啟動,首先透過無伺服器統計模型(基於AWS Step Functions和Lambda)對結構化資料進行異常檢測。該模型專門處理數值計算,避免讓大語言模型(LLM)直接處理大規模表格資料。檢測到的異常被寫入專用表,然後啟用AI代理。

AI代理採用Strands Agents開源SDK,在無伺服器Lambda環境中執行,支援水平擴充套件。代理透過動態推理迴圈自主決定調查路徑,而非遵循固定步驟。它使用特定工具檢索預計算異常、從Amazon Aurora查詢原始資料、從DynamoDB獲取歷史洞察,並將最終洞察寫回S3。

**兩階段洞察生成** 第一階段:聚合與優先順序排序。代理接收一組原始異常後,由LLM自主決定如何聚合(按根本原因、時間相關性或類別相似性),併為每個候選洞察分配相關性分數,選出前四個最重要的進行詳細生成。這種方式避免了靜態規則可能遺漏新模式的弊端。

第二階段:基於工具的詳細調查。對每個摘要洞察,生成一個獨立的代理例項,自主決定呼叫哪些工具以及呼叫順序,直到收集足夠證據產生資料支援的洞察。例如,發現整個車隊緊急制動事件增加30%後,代理會自動拉取歷史基線、按日期分解、識別特定車輛和駕駛員,最終生成有針對性的報告。

**成本最佳化與模型選擇** 初期使用Claude Sonnet驗證邏輯質量,後遷移至成本更低的Claude Haiku。最終採用Amazon Nova Lite,該模型速度極快且輸入令牌成本比Claude Haiku低70%。由於工作負載以輸入令牌為主(遙測資料、異常、上下文),這一節省至關重要。質量透過自動化測試套件和黃金標準資料集得以保證。所有LLM透過Amazon Bedrock託管。

**併發管理** 為在每天上午8點ET(基於前日午夜PT的資料)向10萬使用者交付洞察,系統使用Amazon SQS控制Lambda的最大併發數,從而平滑API請求峰值並符合Bedrock的配額(TPM和RPM)。例如,在四小時的洞察生成視窗內,以1500 RPM的速率,洞察生成階段僅需約1.25小時。

生成的洞察直接顯示在Reveal的即時地圖側邊欄中,使用者可點選檢視詳細分析。這一解決方案將被動式資料篩選轉變為主動式智慧,顯著提升了車隊管理效率。