从数据过载到可操作洞察:Verizon Connect如何将智能代理AI扩展至10万用户
Verizon Connect利用AWS构建智能代理AI解决方案,每天将超过5000万数据点转化为10万用户的可操作洞察。本文详细介绍了其架构决策、实施挑战和可衡量的成果,包括使用无服务器统计模型进行异常检测、采用Strands Agents实现动态推理、以及通过Amazon Nova Lite将输入令牌成本降低70%。
文章情报
要点
- Verizon Connect通过智能代理AI处理每日5亿数据点,为10万用户提供洞察。
- 采用无服务器统计模型进行异常检测,避免LLM处理原始表格数据的局限性。
- 使用两阶段代理架构:先聚合生成摘要洞察,再通过工具调用进行详细调查。
- 通过Amazon Nova Lite优化成本,相比Claude Haiku降低70%输入令牌成本。
为什么重要
这条新闻值得关注,因为Verizon Connect通过智能代理AI处理每日5亿数据点,为10万用户提供洞察。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
Verizon Connect是一家全球车队管理解决方案提供商,其Reveal平台每天处理超过1.2亿活跃车辆订阅产生的5亿个数据点,涵盖8万个独特数据指标。面对如此庞大的数据量,车队管理者难以通过手动分析发现关键模式。为此,Verizon Connect选择了智能代理AI(Agentic AI)而非传统的静态仪表板或规则自动化系统,以动态探索新模式并适应车队的不可预测性。
**可扩展的架构设计** 解决方案的核心包括四个部分:异常检测、并行化请求管理、洞察生成引擎以及存储。整个工作流由每日触发器启动,首先通过无服务器统计模型(基于AWS Step Functions和Lambda)对结构化数据进行异常检测。该模型专门处理数值计算,避免让大语言模型(LLM)直接处理大规模表格数据。检测到的异常被写入专用表,然后激活AI代理。
AI代理采用Strands Agents开源SDK,在无服务器Lambda环境中运行,支持水平扩展。代理通过动态推理循环自主决定调查路径,而非遵循固定步骤。它使用特定工具检索预计算异常、从Amazon Aurora查询原始数据、从DynamoDB获取历史洞察,并将最终洞察写回S3。
**两阶段洞察生成** 第一阶段:聚合与优先级排序。代理接收一组原始异常后,由LLM自主决定如何聚合(按根本原因、时间相关性或类别相似性),并为每个候选洞察分配相关性分数,选出前四个最重要的进行详细生成。这种方式避免了静态规则可能遗漏新模式的弊端。
第二阶段:基于工具的详细调查。对每个摘要洞察,生成一个独立的代理实例,自主决定调用哪些工具以及调用顺序,直到收集足够证据产生数据支持的洞察。例如,发现整个车队紧急制动事件增加30%后,代理会自动拉取历史基线、按日期分解、识别特定车辆和驾驶员,最终生成有针对性的报告。
**成本优化与模型选择** 初期使用Claude Sonnet验证逻辑质量,后迁移至成本更低的Claude Haiku。最终采用Amazon Nova Lite,该模型速度极快且输入令牌成本比Claude Haiku低70%。由于工作负载以输入令牌为主(遥测数据、异常、上下文),这一节省至关重要。质量通过自动化测试套件和黄金标准数据集得以保证。所有LLM通过Amazon Bedrock托管。
**并发管理** 为在每天上午8点ET(基于前日午夜PT的数据)向10万用户交付洞察,系统使用Amazon SQS控制Lambda的最大并发数,从而平滑API请求峰值并符合Bedrock的配额(TPM和RPM)。例如,在四小时的洞察生成窗口内,以1500 RPM的速率,洞察生成阶段仅需约1.25小时。
生成的洞察直接显示在Reveal的实时地图侧边栏中,用户可点击查看详细分析。这一解决方案将被动式数据筛选转变为主动式智能,显著提升了车队管理效率。