ElevenLabsは、自然な音声エージェントを構築する際に開発者が直面する課題を解消する新たな音声対音声モデル群「Eleven Realtime」を発表した。従来、自然な音声エージェントを作るには音声認識、音声アクティビティ検出、ターン判定、基盤となるLLM、テキスト読み上げといった個々のコンポーネントを選び、組み合わせてテストと調整を重ねる必要があり、それ自体が一つのプロジェクトになっていた。
Eleven Realtimeはこうした作業をまとめて引き受ける。各モデルは用途別に最適化された完成品の音声エージェントであり、90以上の言語に対応し、ElevenLabsのライブラリにある1万7000以上の音声を利用できる。第1弾として、低コストで自然な会話を実現する「Eleven Realtime v1 Mini」と、複雑なタスク向けの「Eleven Realtime v1 Max」の2モデルが提供される。MiniはAIアシスタントや教師、インタラクティブなキャラクターなど多くの用途に十分な性能を持つとされ、Maxはカスタマーサポートやリード獲得、手順に沿って推論する多段ワークフローに適している。
ElevenLabsは、音声エージェントを自然に感じさせるには細かな判断が必要だと説明する。ユーザーが黙ってからどれだけ待って応答するか、遮られた際にどう立て直すか、音声とプロンプトとモデルをどう組み合わせるかといった点だ。ElevenAgentsではこれらが調整可能な設定になっており、開発者が設定の専門家になる必要はない。
アーキテクチャは、各コンポーネントをエンドツーエンドで調整して組み合わせたカスケード方式だ。ElevenLabsが音声対音声モデルと呼ぶのは、音声入力・音声出力・単一のモデルIDを提供し、融合型や双方向モデルと同じリーダーボードで評価できるからである。融合型モデルは自然さの基準を示したが、カスケード構成は受け渡しごとに遅延が増え、コンポーネント同士が調整されていなかった。Realtimeはこのトレードオフを解消し、従来開発者の仕事だった調整を済ませているという。
カスケード方式には運用上の利点もある。各ステップがテキストを生成するため、エージェントが何を聞き取り何を話すと決めたかを確認でき、聞き間違いと判断ミスを区別できる。同じテキストにより、ElevenAgentsはガードレールやPIIの秘匿化をRealtimeエージェントに適用できる。
性能については、Artificial AnalysisがBig Bench Audio（音声推論）、Full-Duplex-Bench（会話のダイナミクス）、Speech Agent Arena（人間の好みとタスク成功率）の3つの公開ベンチマークで両モデルを独立評価した。Big Bench Audioの1000問でv1 Maxは98.8%、v1 Miniは75.9%を正答。発話開始はv1 Maxが平均0.57秒、v1 Miniが0.62秒だった。ElevenLabsは、精度と速度は通常トレードオフとされるが、v1 Maxは両方で優れていると強調する。
間やターン交代、割り込み、相づちを試すFull-Duplex-Benchではv1 Miniが95.8%、v1 Maxが94.1%。人間が盲目的に比較するSpeech Agent Arenaではv1 Maxが998、v1 Miniが988だった。ツール呼び出しタスクの完了率はv1 Maxが87.1%、v1 Miniが60.3%で、ツール多用の用途にはMaxが推奨される。
利用方法としてElevenLabsはElevenAgentsでの構築を推奨する。エージェントを作成または開き、ドロップダウンからRealtimeモデルを選べば、電話やウェブ、WhatsApp、CCaaSのチャネル、ワークフロー、ナレッジベース、ガードレール、テスト、監視といった本番運用機能を利用できる。OpenAIのRealtime APIを既に統合している場合は、コードをそのままに接続先とモデル名を変えるだけで試せる。同APIはWebSocketで接続しOpenAI Realtime仕様に従うため、OpenAIのSDKがそのまま動く。ただしWebRTCを使っている場合はWebSocketへの移行が必要で、ElevenAgentsとは別に動作するため、チャネルやナレッジベースなどの機能が必要なら最初からElevenAgents上で構築すべきだという。