AI News HubLIVE
站内改写

從數據過載到可操作洞察:Verizon Connect如何將智能代理AI擴展至10萬用户

Verizon Connect利用AWS構建智能代理AI解決方案,每天將超過5000萬數據點轉化為10萬用户的可操作洞察。本文詳細介紹了其架構決策、實施挑戰和可衡量的成果,包括使用無服務器統計模型進行異常檢測、採用Strands Agents實現動態推理、以及通過Amazon Nova Lite將輸入令牌成本降低70%。

文章情報

工程師進階

要點

  • Verizon Connect通過智能代理AI處理每日5億數據點,為10萬用户提供洞察。
  • 採用無服務器統計模型進行異常檢測,避免LLM處理原始表格數據的侷限性。
  • 使用兩階段代理架構:先聚合生成摘要洞察,再通過工具調用進行詳細調查。
  • 通過Amazon Nova Lite優化成本,相比Claude Haiku降低70%輸入令牌成本。

為甚麼重要

這條新聞值得關注,因為Verizon Connect通過智能代理AI處理每日5億數據點,為10萬用户提供洞察。

技術影響

可能影響模型選型、推理成本、產品能力和評測基準。

Verizon Connect是一家全球車隊管理解決方案提供商,其Reveal平台每天處理超過1.2億活躍車輛訂閲產生的5億個數據點,涵蓋8萬個獨特數據指標。面對如此龐大的數據量,車隊管理者難以通過手動分析發現關鍵模式。為此,Verizon Connect選擇了智能代理AI(Agentic AI)而非傳統的靜態儀表板或規則自動化系統,以動態探索新模式並適應車隊的不可預測性。

**可擴展的架構設計** 解決方案的核心包括四個部分:異常檢測、並行化請求管理、洞察生成引擎以及存儲。整個工作流由每日觸發器啓動,首先通過無服務器統計模型(基於AWS Step Functions和Lambda)對結構化數據進行異常檢測。該模型專門處理數值計算,避免讓大語言模型(LLM)直接處理大規模表格數據。檢測到的異常被寫入專用表,然後激活AI代理。

AI代理採用Strands Agents開源SDK,在無服務器Lambda環境中運行,支持水平擴展。代理通過動態推理循環自主決定調查路徑,而非遵循固定步驟。它使用特定工具檢索預計算異常、從Amazon Aurora查詢原始數據、從DynamoDB獲取歷史洞察,並將最終洞察寫回S3。

**兩階段洞察生成** 第一階段:聚合與優先級排序。代理接收一組原始異常後,由LLM自主決定如何聚合(按根本原因、時間相關性或類別相似性),併為每個候選洞察分配相關性分數,選出前四個最重要的進行詳細生成。這種方式避免了靜態規則可能遺漏新模式的弊端。

第二階段:基於工具的詳細調查。對每個摘要洞察,生成一個獨立的代理實例,自主決定調用哪些工具以及調用順序,直到收集足夠證據產生數據支持的洞察。例如,發現整個車隊緊急制動事件增加30%後,代理會自動拉取歷史基線、按日期分解、識別特定車輛和駕駛員,最終生成有針對性的報告。

**成本優化與模型選擇** 初期使用Claude Sonnet驗證邏輯質量,後遷移至成本更低的Claude Haiku。最終採用Amazon Nova Lite,該模型速度極快且輸入令牌成本比Claude Haiku低70%。由於工作負載以輸入令牌為主(遙測數據、異常、上下文),這一節省至關重要。質量通過自動化測試套件和黃金標準數據集得以保證。所有LLM通過Amazon Bedrock託管。

**併發管理** 為在每天上午8點ET(基於前日午夜PT的數據)向10萬用户交付洞察,系統使用Amazon SQS控制Lambda的最大併發數,從而平滑API請求峯值並符合Bedrock的配額(TPM和RPM)。例如,在四小時的洞察生成窗口內,以1500 RPM的速率,洞察生成階段僅需約1.25小時。

生成的洞察直接顯示在Reveal的實時地圖側邊欄中,用户可點擊查看詳細分析。這一解決方案將被動式數據篩選轉變為主動式智能,顯著提升了車隊管理效率。