跳到主要內容
AI News HubLIVE
更多
僅摘要

縮小‘表現力差距’:Mistral的Voxtral TTS如何透過混合自迴歸與流匹配架構重新定義多語言語音克隆

Mistral AI釋出了Voxtral TTS,這是一個約4B引數的多語言語音合成模型,透過結合自迴歸生成和流匹配兩種正規化,在零樣本語音克隆中勝率超過ElevenLabs Flash v2.5達68.4%,支援9種語言,僅需3秒參考音訊即可生成自然、保說話人特徵的語音。文章詳細介紹了其架構、訓練後最佳化及在語音代理、有聲書流水線等場景的應用。

來源MarkTechPost作者: Asif Razzaq
縮小‘表現力差距’:Mistral的Voxtral TTS如何透過混合自迴歸與流匹配架構重新定義多語言語音克隆
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • Voxtral TTS是Mistral AI首個文本到語音模型,採用混合架構:自迴歸解碼器負責長期語義連貫性,流匹配變壓器負責細膩聲學紋理。
  • 模型在零樣本語音克隆中顯著優於競品,尤其在低資源語言如印地語和西班牙語上表現突出。
  • 支援9種語言跨語言語音適配,無需額外微調,API價格每千字元0.016美元。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。