Real World VoiceEQの紹介：音声AIの人間らしさを測定する

音声は急速にAIの主要インターフェースになりつつある。カスタマーサポート、ヘルスケア、教育、エンターテインメント、パーソナルアシスタントに至るまで、テキストに代わって音声が人とAIの対話方法として増えている。過去数年間で音声モデルは劇的に改善された。単語誤り率は低下し続け、遅延は会話速度に達し、多くの確立されたベンチマークは飽和状態に近づいている。しかし、音声AIを定期的に使用する人は、何かがまだおかしいと感じている。

音声モデルは会話の過程で別人のように聞こえたり、ためらいや不確実性を見逃したり、アクセント、ノイズ、感情的な発話に苦労したりする。これらの欠点は、遅延や単語誤り率に焦点を当てたベンチマークでは見逃されやすい。人々が気にするのは、音声システムが本当に聞き、適切に応答し、実際の会話で自然で信頼できるものであるかどうかである。

これらの性質を測定するために、我々はReal World VoiceEQを構築した。これは音声対話の人間らしさを評価するためのベンチマークである。これは、音声システムがトランスクリプトから欠落している音響情報（トーンや感情から話者識別や背景コンテキストまで）を認識、生成、応答できるかどうかを評価する。

Real World VoiceEQは、40以上の主要なプロプライエタリおよびオープンソースの音声モデルを、15以上の評価次元と60以上の指標（自動音声認識（ASR）、テキスト読み上げ（TTS）、音声間（S2S）、音声理解を網羅）で評価する。このベンチマークは、さまざまな人口統計、話し方、音響環境から収集された100万以上の個別の人間評価に基づいて開発された。現在のベンチマークには、785,000のTTS評価と48,000のSTS評価が含まれており、これまでに行われた音声AIの最大の人間評価の1つとなっている。

すべての評価は、柔軟で音声ネイティブな評価プラットフォームであるKairosを使用して実施された。同じインフラストラクチャにより、最先端のAIラボや企業は特定のユースケースに合わせたカスタム評価を実行し、本番音声システムの細かい障害モードを特定し、人間の嗜好データを生成し、強化学習と人間のフィードバックを通じてモデルを継続的に改善できる。

Real World VoiceEQの主な発見

音声AIの進歩はますます専門化している。

単一の「ベスト」音声モデルを目指す競争は、専門化された機能のコレクションに取って代わられつつある。今日の主要システムは、技術的精度、感情理解、会話知能、表現力、堅牢性など、異なる強みに最適化されている。予約番号、銀行口座詳細、複雑な医薬品名を繰り返すのに優れたモデルは、感情表現豊かな音声を生成するのに苦労する可能性がある。別のモデルは非常に自然に聞こえるかもしれないが、精度重視のタスクでは信頼性が低い。音声AIが成熟するにつれて、進歩を測定するには、これらの能力を単一の全体スコアにまとめるのではなく、独立して評価することがますます必要になる。当社のTTS評価では、8つの能力グループすべてでトップ5に入るシステム構成はなかった。これは、単一の「ベスト」音声モデルが存在しない理由を浮き彫りにしている。

音声モデルは話すことよりも聞くことが上達している。

音声間モデルは、評価したどのカテゴリーよりも大きなばらつきを示した。一部のシステムは感情認識に非常に優れていたが、自然に応答するのに苦労した。音声にアクセスできることは、エージェントがそこに含まれるパラ言語情報を利用することを保証しないことがわかった。一部のシステムは依然としてトランスクリプト主導であり、話されている言葉に依存し、トーン、ペース、ためらい、強調、音量などの手がかりを見落としていた。

人間は自然にこれらの手がかりを使用して、自信、不確実性、欲求不満、皮肉、共感を推測する。今日のモデルはそれらを見逃すことが多い。

銀行のエージェントが不正な取引を認識できるかどうかを尋ねる場面を想像してみてほしい。自信に満ちた「はい」とためらいのある「…はい…」は、トランスクリプトが同じでもまったく異なる意味を持つ可能性がある。人間はその違いを即座に認識する。今日の音声モデルの多くはそうではない。

従来のベンチマークは実世界のパフォーマンスを過大評価している。

多くの確立されたベンチマークは限界に近づいており、実世界の条件を反映していない。モデルは依然としてアクセントのある発話、重なり合う話者、感情、背景ノイズ、長い会話に苦戦している。当社の評価では、主要なオープンソースモデルとプロプライエタリモデルのパフォーマンスのばらつきは、従来のベンチマークが示唆するよりもはるかに大きい。一例として、ノイズのある音声の転写単語誤り率は音楽付き音声の約4倍であり、単一のバックグラウンドオーディオスコアが実際の障害モードをどのように隠すかを示している。

人間による評価は依然として不可欠である。

予備調査では、一部のモデルが確立された公開ベンチマークに最適化されている可能性がある兆候が見られた。いくつかのモデルは、参照トランスクリプトの既知のエラーを再現し、任意のスペル規則に従い、オーディオに存在しないマスクされた単語を再構築した。

LLMは現在、テキストベースのモデルを評価するために広く使用されているが、当社の調査結果は、音声言語モデル（SLM）を音声評価に使用する場合、より注意深く使用すべきであることを示唆している。テキスト読み上げ評価において、主要なSLMと訓練された人間の評価者を比較したところ、発音の正確さなど、明確で検証可能な回答があるタスクで一致度が最も高かった。

一致度は、より主観的な評価で低下した。SLMは時々、テキストベースの文脈的手がかりから感情を推測しているように見え、声が演技の役割に合っているか、一貫したアイデンティティを維持しているかなどのオープンエンドな判断では一致度が最も弱かった。自動評価者は明確に定義されたタスクには有用であるが、判断が音響知覚と社会的解釈に依存する場合、人間のリスナーの代わりにはまだなれない。

なぜ音声AIに新しい測定層が必要なのか

音声がAIの主要インターフェースの1つになるにつれ、速度と技術的正確さだけがシステムの成功を決定するわけではなくなる。人々が最終的に選択するモデルは、理想的なベンチマーク条件下だけでなく、実世界の会話の複雑さの中で、人間のように理解し、表現し、応答できるモデルとなるだろう。

何十年もの間、音声AIは標準化されたベンチマークで定量的な指標を最適化することで進歩してきた。転写精度のWERから、音声品質のPESQやDNSMOSのような客観的な知覚指標まで。Real World VoiceEQが、合成音声対話の構成要素を評価するための人間に基づいた指標を提供することで、このパラダイムを拡張できることを願っている。

完全なテクニカルレポートを読み、公開リーダーボードを探索してください。または、HumeがReal World VoiceEQを使用して音声モデルやエージェントを評価する方法、または特定のユースケースに合わせたカスタム評価を設計する方法についてお問い合わせください。