跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

ElevenLabs 推出 Eleven Realtime:更簡單的自然語音智慧體構建方式

文章摘要

ElevenLabs 釋出 Eleven Realtime 系列語音到語音模型,將語音識別、輪次判斷、LLM 與語音合成整合為端到端調優的完整語音智慧體。首發 v1 Mini 與 v1 Max 兩款型號,支援 90 多種語言和 1.7 萬多種音色,併相容 OpenAI Realtime API。

ElevenLabs 推出 Eleven Realtime:更簡單的自然語音智慧體構建方式
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

ElevenLabs 釋出了名為 Eleven Realtime 的新一類語音到語音模型,目標是讓開發者不再需要為搭建一個聽起來自然的語音智慧體而做大量零散決策。過去,要構建這樣的智慧體,開發者必須分別選擇語音識別、語音活動檢測、輪次判斷、底層大語言模型和文本轉語音等元件,再把它們拼裝起來反覆測試調優,這本身就相當於一個獨立專案。

Eleven Realtime 把這些環節打包成完整的語音智慧體。每個模型都是開箱可用的整體方案,針對不同使用場景做了最佳化,均支援 90 多種語言,並可呼叫 ElevenLabs 音色庫中超過 17000 種音色。首發包含兩款型號:Eleven Realtime v1 Mini 面向低成本的自然對話,適合 AI 助手、教師和互動角色,官方表示它足以覆蓋大多數場景;Eleven Realtime v1 Max 則面向複雜任務,例如客戶支援、線索篩選和需要遵循流程、逐步推理的多步驟工作流。

ElevenLabs 解釋了推出即時模型的原因:要讓智慧體表現得自然,關鍵往往在於一些細微的判斷,比如使用者停頓多久之後才應答、被使用者打斷後如何恢復、聲音與提示詞和模型如何協同。這些細節在 ElevenAgents 中都變成了可調整的設定,開發者不必再成為配置專家。

在架構上,Eleven Realtime 採用級聯架構,將前述各元件端到端調優後整合。ElevenLabs 稱其為語音到語音模型,因為開發者得到的是音訊輸入、音訊輸出、單一模型 ID,並且可以在與融合式、雙工模型相同的排行榜上被衡量。融合式模型最初樹立了語音自然度的標杆,而級聯方案過去的問題是每次交接都會增加延遲,且各元件從未針對彼此調優;ElevenLabs 表示 Realtime 消除了這一取捨,原本屬於開發者的調優工作已經完成。

級聯架構在生產環境中還有實際優勢:每一步都會產生文本,因此可以看到智慧體聽到了什麼、決定說什麼,從而區分是聽錯了詞還是做出了錯誤決策。同樣的文本也讓 ElevenAgents 能夠對 Realtime 智慧體施加防護規則和 PII 脫敏。

效能方面,Artificial Analysis 對兩款模型進行了獨立評測,覆蓋 Big Bench Audio 語音推理、Full-Duplex-Bench 對話動態以及 Speech Agent Arena 人類偏好與任務成功率三項公開基準。在 Big Bench Audio 的 1000 道語音推理題中,v1 Max 答對 98.8%,v1 Mini 答對 75.9%。速度上,v1 Max 平均 0.57 秒開始說話,v1 Mini 為 0.62 秒。ElevenLabs 強調,準確率與速度通常被視為取捨關係,而 v1 Max 在這兩項指標上同時表現出色。

在測試停頓、輪次、打斷和附和等行為的 Full-Duplex-Bench 上,v1 Mini 得分 95.8%,v1 Max 為 94.1%。在人類盲測即時對話的 Speech Agent Arena 中,v1 Max 得分 998,v1 Mini 為 988。工具呼叫任務上,v1 Max 完成率 87.1%,v1 Mini 為 60.3%,因此官方建議工具呼叫密集的場景選用 Max。

使用方式上,ElevenLabs 推薦在 ElevenAgents 中建立或開啟智慧體,從下拉選單選擇 Realtime 模型,即可獲得電話、網頁、WhatsApp 和 CCaaS 渠道、工作流、知識庫、防護規則、測試與監控等生產部署能力。若已整合 OpenAI Realtime API,最快的方式是保留現有程式碼,僅更換指向的端點和模型名;該 API 透過 WebSocket 連線並遵循 OpenAI Realtime 規範,OpenAI 的 SDK 可直接使用。需要注意的是,Realtime API 僅支援 WebSocket,若原本使用 WebRTC 需先遷移;它也與 ElevenAgents 獨立執行,若需要渠道、知識庫等平臺功能,應直接在 ElevenAgents 上構建。

展開要點與分析

文章情報

工程師進階

要點

  • Eleven Realtime 以級聯架構整合完整語音智慧體,開發者無需自行調優各元件
  • v1 Mini 主打低成本自然對話,v1 Max 適合客服、線索篩選等複雜多步任務
  • 在 Big Bench Audio 上 v1 Max 正確率 98.8%,平均 0.57 秒開始說話
  • API 相容 OpenAI Realtime 規範,已有整合只需更換端點和模型名

技術影響

可能影響 Agent 架構、工具呼叫、工作流自動化和產品整合。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。