推出真實世界VoiceEQ：衡量語音AI的人類化質量

語音正迅速成為AI的主要互動介面。從客戶支援、醫療保健到教育、娛樂和個人助手，語音正在取代文本成為人與AI互動的方式。過去幾年，語音模型取得了巨大進步：詞錯誤率持續下降，延遲達到對話速度，許多成熟基準測試接近飽和。然而，任何經常使用語音AI的人都知道，有些東西仍然感覺不對勁。

語音模型在對話過程中可能聽起來像不同的人，會錯過猶豫或不確定性，在口音、噪聲或情感性語音中掙扎。這些缺點在以延遲和詞錯誤率為中心的基準測試中很容易被忽略。人們關心的是語音系統能否真正傾聽、恰當回應，並在真實對話中保持自然和可靠。

為了衡量這些品質，我們構建了Real World VoiceEQ——一個旨在評估語音互動人類化質量的基準。它評估語音系統是否能識別、產生和回應轉錄文本遺漏的聲學資訊，從語調、情感到說話者身份和背景語境。

Real World VoiceEQ評估了超過40個領先的專有和開源語音模型，涵蓋15+關鍵評估維度和60+指標，涉及自動語音識別（ASR）、文本轉語音（TTS）、語音到語音（S2S）和語音理解。該基準基於從不同人口統計、說話風格和聲學環境中收集的超過100萬個人類評分。當前基準包括785,000個TTS評分和48,000個STS評分，使其成為迄今為止規模最大的語音AI人類評估之一。

每項評估均使用Kairos——我們靈活的、語音原生的評估平臺。相同的基礎設施使前沿AI實驗室和企業能夠針對特定用例執行定製評估，識別生產語音系統的細粒度故障模式，生成人類偏好資料，並透過強化學習和人類反饋持續改進模型。

Real World VoiceEQ的關鍵發現

語音AI的進步正日益專業化。

單一“最佳”語音模型的競賽正在讓位於一系列專業化能力。當今領先的系統針對不同優勢進行最佳化——包括技術準確性、情感理解、會話智慧、表現力和魯棒性。一個擅長重複預訂參考號、銀行賬戶細節或複雜藥物名稱的模型可能難以產生富有情感表達的語言。另一個可能聽起來非常自然，但在精度導向任務上不夠可靠。隨著語音AI成熟，衡量進展越來越需要獨立評估這些能力，而不是將其歸為一個總分。在我們的TTS評估中，沒有系統配置在所有八個能力組中排名前五——這強調了為什麼沒有單一的“最佳”語音模型。

語音模型變得更會說話而不是更會傾聽。

語音到語音模型在我們評估的所有類別中顯示出最大的差異。一些系統異常擅長識別情感，但難以自然回應。我們發現，訪問音訊並不能保證智慧體使用了其中包含的副語言資訊。一些系統仍然很大程度上基於轉錄，關注所說的話語，而忽略了語調、節奏、猶豫、強調和音量等線索。人類自然地利用這些線索來推斷信心、不確定性、沮喪、諷刺和同理心。當今的模型常常錯過它們。

想象一下，一個銀行代理詢問你是否識別出一筆潛在的欺詐交易。一個自信的“是”和一個猶豫的“……是……”可能具有完全不同的含義，即使轉錄文本相同。人類立即識別這種差異。許多當今的語音模型卻不能。

傳統基準測試日益高估實際效能。

許多成熟基準測試接近極限，不能反映真實條件。模型仍然在帶口音的語音、重疊說話者、情感、背景噪聲和較長的對話中掙扎。在我們的評估中，領先的開源和專有模型之間的效能差異遠大於傳統基準測試所顯示的情況。一個例子是，在噪聲背景下的轉錄詞錯誤率大約是音樂背景下的四倍，顯示單一背景音訊分數如何隱藏真正的故障模式。

人類評估仍然必不可少。

在初步研究中，我們發現一些模型可能針對已建立的公共基準進行了最佳化。幾個模型複製了參考轉錄中的已知錯誤，遵循任意拼寫約定，甚至還原了音訊中不存在的掩碼詞。

LLM現廣泛應用於評估基於文本的模型，但我們的發現表明，在語音評估中使用語音語言模型（SLM）應更加謹慎。當我們比較領先的SLM和訓練有素的人類評分員在文本轉語音評估中的表現時，在具有清晰可驗證答案的任務（如發音準確性）上一致性最高。

在更主觀的評估上一致性下降。SLM有時似乎從基於文本的上下文線索中推斷情感，對於開放式判斷（如語音是否適合某個角色或保持一致的標識）的一致性最弱。自動評估器在定義明確的任務上很有價值，但判斷依賴於聲學感知和社會解釋時，它們還不能替代人類聽眾。

為什麼語音AI需要新的測量層

隨著語音成為AI的關鍵互動介面之一，速度和準確性本身將不再決定哪些系統成功。人們最終選擇的模型將是那些能夠像人類一樣理解、表達和回應的模型——不僅在理想的基準條件下，而且在真實對話的複雜性中。

幾十年來，語音AI透過最佳化標準化基準上的定量指標取得進步；從轉錄準確性的詞錯誤率到客觀感知指標如PESQ和DNSMOS。我們希望Real World VoiceEQ能夠透過提供一個人工基礎的評價標準來擴充套件這一正規化，用於評估合成語音互動的各個組成部分。

閱讀完整的技術報告並探索公共排行榜——或聯絡我們，瞭解Hume如何使用Real World VoiceEQ評估您的語音模型或智慧體，或設計針對特定用例的定製評估。