跳到主要内容
AI News HubLIVE
站内改写5 分钟阅读

Stretto 如何基于 Amazon Nova 2 Sonic 构建 AI 语音代理

文章摘要

Stretto 用基于 Amazon Nova 2 Sonic 的 AI 语音代理 Tara 取代网页表单,通过电话进行破产意向调查并筛选潜在客户。本文介绍 Stretto、AWS 生成式 AI 创新中心和 CI&T 如何设计语音架构、验证其适用于敏感对话,并推进至生产环境。

来源AWS Machine Learning Blog作者: Mariah Miller
Stretto 如何基于 Amazon Nova 2 Sonic 构建 AI 语音代理
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

本文由 Stretto 的 Danya Gordin 与 CI&T 的 Marcelo Wzorek 共同撰写。

在 Stretto 构建 AI 语音代理之前,考虑申请破产的消费者会在其 Bankruptcy.com 网站上填写一张包含债务金额、律师状态和联系方式等少量字段的网页表单。这些由表单产生的线索利润空间很薄。

一张网页表单线索与一条完全合格的线索之间的差距很大。破产律师更看重包含详细财务数据的线索:债务、资产、车辆、房地产、就业历史以及此前的申请记录。网页表单本可以扩展以采集这些细节,但表单越长,中途放弃的访客就越多。电话访谈本可以自然地引出这些信息,因为人们在对话中更愿意分享敏感的财务细节,但组建并培训一支人工接洽团队来执行这些访谈,成本高得令人望而却步。

Stretto 看到了一个机会:用一位通过电话进行接洽访谈的 AI 语音代理来取代网页表单。该代理将以对话方式引导来电者完成完整的破产问卷,并实时提取结构化数据。随后,它会依据律师定义的规则对线索进行分类,以支持律师的决策。

挑战在于找到一种语音 AI 解决方案,能够以自然的低延迟、清晰的打断处理能力和情绪感知能力来处理敏感的财务对话,同时其成本能让单位经济性成立。

在本文中,我们将介绍 Stretto 如何与 AWS 生成式 AI 创新中心以及 AWS 合作伙伴 CI&T 合作,构建了 Tara——一个由 Amazon Nova 2 Sonic 提供支持的 AI 语音代理,后者是 Amazon Bedrock 中的语音到语音模型。Tara 执行多阶段的破产接洽访谈,并依据律师定义的规则对线索进行分类。我们将涵盖架构、从验证到生产部署的分阶段构建过程,以及团队如何针对敏感对话测试语音质量。

解决方案概览

Tara 是一位通过电话进行破产接洽访谈的 AI 语音代理。当来电者拨打 Bankruptcy.com 的号码时,Tara 会接听、自我介绍,并引导来电者完成一段结构化的对话。她会收集个人信息、财务细节、资产清单和就业历史,同时根据来电者的情绪状态调整语气。通话结束时,Stretto 的系统会应用律师定义的规则,将线索分类为合格、不合格或需要更多信息以供律师审阅。

该解决方案构建在 Amazon Nova 2 Sonic 之上,这是一个可通过 Amazon Bedrock 使用的语音到语音基础模型(FM)。它在单一模型中原生处理语音输入并生成语音输出,而不是将独立的语音转文本、语言模型和文本转语音组件串联起来。这种架构旨在降低延迟并产生更自然的对话,这两点对于破产接洽通话的敏感性都至关重要。构建在 Amazon Bedrock 之上,让团队通过一个托管服务同时获得 Amazon Nova 2 Sonic 和 Anthropic 的 Claude,无需运行任何模型基础设施。它还为处理敏感财务数据的工作负载带来了 AWS 安全与治理控制。对两个模型的访问均由 AWS Identity and Access Management(IAM)管理。发往 Amazon Bedrock 的流量通过虚拟私有云(VPC)端点(AWS PrivateLink)保留在 AWS 网络内。Amazon Bedrock 不会使用提示或模型输出来训练模型(详情请参阅 Amazon Bedrock 中的数据保护)。由于模型与语音桥接、数据库和 Amazon CloudWatch 监控运行在同一个 AWS 环境中,团队可以用一套工具来保障和运营整个解决方案。Amazon Nova 2 Sonic 和 Amazon Bedrock 并非在所有 AWS 区域都可用。有关当前区域可用性,请参阅 Amazon Bedrock 支持的区域。

团队选择 Amazon Nova 2 Sonic 而非此前的语音解决方案,原因有三:

成本:根据截至 2026 年 4 月 us-east-1 的 Amazon Bedrock 按需定价,Stretto 报告称与之前的解决方案相比,每分钟语音成本降低了 95%。

延迟:在 Stretto 的测试中,之前的解决方案表现出超过 500 毫秒的首音频延迟,造成尴尬的停顿。Amazon Nova 2 Sonic 专为低延迟而设计,以支持自然的对话流。

打断处理:处于压力情境中的来电者需要插话、纠正自己并提出澄清问题。之前的解决方案对打断(barge-in)处理不佳,常常破坏对话流。Amazon Nova 2 Sonic 旨在处理打断而不中断会话。

下图展示了端到端架构。

图 1:Tara 架构,展示从电话到数据持久化的端到端通话流程

来电者通过 Twilio 联系到 Tara,Twilio 会打开一个进入 AWS 的 WebSocket 连接。流量经过 AWS WAF 和 Application Load Balancer,到达运行在 AWS Fargate 上的 Amazon Elastic Container Service(Amazon ECS)中的语音桥接,该桥接与 Amazon Nova 2 Sonic(通过 Amazon Bedrock 访问)流式传输音频。通话结束后,带有死信队列的 Amazon Simple Queue Service(Amazon SQS)将转录文本交给异步处理器。该处理器使用 Amazon Bedrock 上 Anthropic 的 Claude 3 Haiku 提取结构化字段,并将其持久化到 Amazon Aurora Serverless v2 中。合格的线索按司法管辖区路由给律师。支持性服务包括 NAT 网关、VPC 端点(AWS PrivateLink)、Amazon Elastic Container Registry(Amazon ECR)、AWS Secrets Manager 和 Amazon CloudWatch。

Stretto 选择 Twilio 作为电话服务提供商,是因为 Tara 的接洽完全自动化,没有人工坐席接听电话,而且 Stretto 希望与 Amazon Nova 2 Sonic 直接集成,同时保留其现有的 AWS 后端。Twilio Media Streams 通过 WebSocket 传输来电者的原始音频,这正是语音桥接所需的输入,而 CI&T 已经将其与 Amazon Nova 2 Sonic 集成。对于在人工坐席之间路由呼叫的联络中心工作负载,Amazon Connect 也支持 Amazon Nova 2 Sonic。

该架构使用了以下 AWS 服务:

Amazon Nova 2 Sonic(通过 Amazon Bedrock):为 Tara 的语音对话提供支持的语音到语音基础模型。它在一次处理中同时完成语音识别和响应生成,支持在访谈过程中进行结构化数据采集的工具调用。

Amazon Elastic Container Service(Amazon ECS)on AWS Fargate:一种无服务器计算引擎,运行连接电话层与 Amazon Nova 2 Sonic 的语音桥接容器。语音桥接任务跨三个可用区持续运行,以实现高可用性。

Amazon Aurora Serverless v2:一种兼容 PostgreSQL 的无服务器关系数据库,部署为多可用区配置。存储来电者档案、接洽响应、资格判定结果和会话元数据。Aurora 的无服务器扩展能力与可变的呼叫量模式相匹配。

Amazon Bedrock(Anthropic 的 Claude 3 Haiku):负责从对话转录文本中提取结构化数据。在 Amazon Nova 2 Sonic 生成转录文本后,Claude 3 Haiku 将类型化字段(姓名、美元金额、地址、车辆详情)提取到关系模式中。

Amazon Simple Queue Service(Amazon SQS)及死信队列:管理通话后事件的异步 webhook 处理,保留失败消息以便重试。

AWS WAF、VPC 端点与 Application Load Balancer:安全与网络层,有助于保护 API 端点、跨可用区路由流量,并提供对 AWS 服务的私有连接。

构建并验证语音代理

团队采用分阶段的方法:先验证语音质量,再构建生产集成,然后在证明系统可与真实来电者协作后扩大问卷范围。

针对敏感对话验证语音质量

破产对话充满情绪。来电者往往紧张、犹豫或感到难堪。语音代理需要听起来富有同理心且自然,而不是机械或交易式的。在编写任何集成代码之前,团队专门花了一周时间,针对多个来电者场景测试 Amazon Nova 2 Sonic 的语音质量。

验证涵盖:

跨来电者情绪状态(平静、紧张、犹豫、沮丧)的语音质量。

与之前解决方案超过 500 毫秒基线相比的首音频延迟基准测试。

打断与插话处理:来电者能否在句子中间插话而不破坏对话?

情绪语气适应:当来电者听起来痛苦时,代理是否会调整其语速和语气?

这一验证步骤生成了一份比较报告,记录了 Amazon Nova 2 Sonic 在各个维度上相对于之前解决方案的表现。该报告成为进入集成阶段的 go/no-go 关卡。

与真实来电者一起部署到生产环境

在语音质量得到验证后,团队在三周内构建了端到端集成。通话流程如下:

来电者拨打 Bankruptcy.com 的号码。Twilio 的电话层接听呼叫,并打开一个到运行在 AWS Fargate 上的 Amazon ECS 中语音桥接的 WebSocket 连接。

语音桥接在来电者与 Amazon Nova 2 Sonic 之间双向流式传输音频。Tara 自我介绍、收集同意,并开始接洽访谈。

通话结束后,完整的转录文本进入一个由 Amazon Bedrock 上 Anthropic 的 Claude 3 Haiku 提供支持的提取流水线。该流水线从对话中提取字段并将其存储在 Amazon Aurora 中。

律师设计的完整接洽流程可能持续 15 至 20 分钟,这比单个 Amazon Nova 2 Sonic 流式会话的最长持续时间更长(当前值请参阅语音到语音入门指南)。团队将该会话时长视为一项设计参数,并实现了会话延续模式,这是一种跨会话边界携带对话上下文的方法。语音桥接会跟踪与 Amazon Nova 2 Sonic 的每个双向流已打开的时长。在接近限制之前,它会使用相同的系统提示和工具配置打开一个新的流,并将迄今为止的对话以文本历史形式发送过去。当 Tara 完成当前响应后,桥接会将来电者的音频切换到新流并关闭旧流,因此对来电者而言对话会顺畅地继续。

初始部署覆盖了现有的 13 字段接洽表单,采集与网页表单相同的数据点,但通过自然对话进行。这为团队提供了一个生产基线,以便在扩大范围之前进行衡量。

扩大接洽范围与线索资格判定

在生产试点运行的同时,团队在四周内将问卷扩展为律师设计的完整接洽流程。这是范围上的显著增加:

超过 18 个接洽类别,带有条件分支,即 Tara 提出的问题取决于来电者先前的回答。

复杂的关系数据:车辆(每辆车的年份、品牌、型号、融资状态、月供)、房地产、单笔债务明细、多个就业与收入来源,以及此前的破产申请记录。

基于规则的线索分类:Stretto 对每条线索应用律师定义的规则,律师做出最终决定。由于语音代理采集的条件化数据比静态网页表单更丰富,这使 Stretto 在应用这些规则和准确判定线索资格方面拥有更大的灵活性。

线索路由:合格的线索路由给破产从业者,而不符合资格标准的来电者则被引导至其他资源。

Amazon Aurora 模式扩展为支持一对多关系的完整关系数据模型。单个来电者记录可以关联多辆车、多处房产、多笔债务和多个收入来源。

展开要点与分析

文章情报

工程师进阶

要点

  • Stretto 用 AI 语音代理 Tara 取代网页表单,通过电话完成破产意向调查,收集详细财务数据并筛选潜在客户。
  • Tara 基于 Amazon Nova 2 Sonic 语音到语音模型,相比原方案每分钟语音成本降低 95%,并改善了延迟和打断处理。
  • 团队采用分阶段方法:先验证语音质量,再构建生产集成,最后扩展问卷范围。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。