推出真实世界VoiceEQ：衡量语音AI的人类化质量

语音正迅速成为AI的主要交互界面。从客户支持、医疗保健到教育、娱乐和个人助手，语音正在取代文本成为人与AI互动的方式。过去几年，语音模型取得了巨大进步：词错误率持续下降，延迟达到对话速度，许多成熟基准测试接近饱和。然而，任何经常使用语音AI的人都知道，有些东西仍然感觉不对劲。

语音模型在对话过程中可能听起来像不同的人，会错过犹豫或不确定性，在口音、噪声或情感性语音中挣扎。这些缺点在以延迟和词错误率为中心的基准测试中很容易被忽略。人们关心的是语音系统能否真正倾听、恰当回应，并在真实对话中保持自然和可靠。

为了衡量这些品质，我们构建了Real World VoiceEQ——一个旨在评估语音交互人类化质量的基准。它评估语音系统是否能识别、产生和回应转录文本遗漏的声学信息，从语调、情感到说话者身份和背景语境。

Real World VoiceEQ评估了超过40个领先的专有和开源语音模型，涵盖15+关键评估维度和60+指标，涉及自动语音识别（ASR）、文本转语音（TTS）、语音到语音（S2S）和语音理解。该基准基于从不同人口统计、说话风格和声学环境中收集的超过100万个人类评分。当前基准包括785,000个TTS评分和48,000个STS评分，使其成为迄今为止规模最大的语音AI人类评估之一。

每项评估均使用Kairos——我们灵活的、语音原生的评估平台。相同的基础设施使前沿AI实验室和企业能够针对特定用例运行定制评估，识别生产语音系统的细粒度故障模式，生成人类偏好数据，并通过强化学习和人类反馈持续改进模型。

Real World VoiceEQ的关键发现

语音AI的进步正日益专业化。

单一“最佳”语音模型的竞赛正在让位于一系列专业化能力。当今领先的系统针对不同优势进行优化——包括技术准确性、情感理解、会话智能、表现力和鲁棒性。一个擅长重复预订参考号、银行账户细节或复杂药物名称的模型可能难以产生富有情感表达的语言。另一个可能听起来非常自然，但在精度导向任务上不够可靠。随着语音AI成熟，衡量进展越来越需要独立评估这些能力，而不是将其归为一个总分。在我们的TTS评估中，没有系统配置在所有八个能力组中排名前五——这强调了为什么没有单一的“最佳”语音模型。

语音模型变得更会说话而不是更会倾听。

语音到语音模型在我们评估的所有类别中显示出最大的差异。一些系统异常擅长识别情感，但难以自然回应。我们发现，访问音频并不能保证智能体使用了其中包含的副语言信息。一些系统仍然很大程度上基于转录，关注所说的话语，而忽略了语调、节奏、犹豫、强调和音量等线索。人类自然地利用这些线索来推断信心、不确定性、沮丧、讽刺和同理心。当今的模型常常错过它们。

想象一下，一个银行代理询问你是否识别出一笔潜在的欺诈交易。一个自信的“是”和一个犹豫的“……是……”可能具有完全不同的含义，即使转录文本相同。人类立即识别这种差异。许多当今的语音模型却不能。

传统基准测试日益高估实际性能。

许多成熟基准测试接近极限，不能反映真实条件。模型仍然在带口音的语音、重叠说话者、情感、背景噪声和较长的对话中挣扎。在我们的评估中，领先的开源和专有模型之间的性能差异远大于传统基准测试所显示的情况。一个例子是，在噪声背景下的转录词错误率大约是音乐背景下的四倍，显示单一背景音频分数如何隐藏真正的故障模式。

人类评估仍然必不可少。

在初步研究中，我们发现一些模型可能针对已建立的公共基准进行了优化。几个模型复制了参考转录中的已知错误，遵循任意拼写约定，甚至还原了音频中不存在的掩码词。

LLM现广泛应用于评估基于文本的模型，但我们的发现表明，在语音评估中使用语音语言模型（SLM）应更加谨慎。当我们比较领先的SLM和训练有素的人类评分员在文本转语音评估中的表现时，在具有清晰可验证答案的任务（如发音准确性）上一致性最高。

在更主观的评估上一致性下降。SLM有时似乎从基于文本的上下文线索中推断情感，对于开放式判断（如语音是否适合某个角色或保持一致的标识）的一致性最弱。自动评估器在定义明确的任务上很有价值，但判断依赖于声学感知和社会解释时，它们还不能替代人类听众。

为什么语音AI需要新的测量层

随着语音成为AI的关键交互界面之一，速度和准确性本身将不再决定哪些系统成功。人们最终选择的模型将是那些能够像人类一样理解、表达和回应的模型——不仅在理想的基准条件下，而且在真实对话的复杂性中。

几十年来，语音AI通过优化标准化基准上的定量指标取得进步；从转录准确性的词错误率到客观感知指标如PESQ和DNSMOS。我们希望Real World VoiceEQ能够通过提供一个人工基础的评价标准来扩展这一范式，用于评估合成语音交互的各个组成部分。

阅读完整的技术报告并探索公共排行榜——或联系我们，了解Hume如何使用Real World VoiceEQ评估您的语音模型或智能体，或设计针对特定用例的定制评估。