NVIDIA發佈Audex（Nemotron-Labs-Audex-30B-A3B）：統一音頻-文本LLM，保留骨幹網絡的文本智能

NVIDIA發佈了Audex（全稱Nemotron-Labs-Audex-30B-A3B），一個統一的音頻-文本大語言模型（LLM），能夠理解和生成音頻與語音，同時保留其骨幹網絡的文本智能。該模型的檢查點及一個較小的2B版本已以非商業許可發佈。

大多數多模態模型在增加音頻或視覺輸出時會遭遇“文本税”——文本基準測試得分下降。NVIDIA研究團隊報告稱，即使是僅處理語音輸出的模型也無法倖免。Audex的設計目標正是避免這種退化。

Audex是什麼？

Audex是一個單一的Mixture-of-Experts（MoE）Transformer解碼器，擁有300億總參數，每次激活30億參數。其骨幹網絡是Nemotron-Cascade-2-30B-A3B，一個純文本MoE LLM，結合了Mamba和Transformer架構，共52層，128個可路由專家，每次激活6個專家。

設計相當簡潔：音頻輸入被編碼並投影到文本嵌入空間，文本令牌和量化的音頻令牌在生成過程中被統一處理。沒有思考者-説話者分離，也沒有堆疊的級聯模型。

由於設計的簡潔性，Audex可運行在標準LLM堆棧上，包括用於訓練的Megatron-LM和用於推理的vLLM。它支持指令模式和思考模式，上下文長度可達100萬令牌。

統一設計如何工作？

圍繞LLM骨幹的三個組件：一個音頻編碼器（使用來自Audio Flamingo 3的AF-Whisper，基於Whisper Large-v3架構，處理16kHz輸入）；一個兩層MLP適配器，將音頻特徵映射到模型維度；以及一個擴展的詞彙表，包含離散音頻輸出令牌（從131,072增至205,312）。

輸出使用兩種編解碼器：語音使用X-Codec2，每秒50令牌，採用單層有限標量量化（FSQ），碼本大小65,536；非語音聲音使用X-Codec，每秒200令牌，採用四層扁平殘差矢量量化（RVQ）。

訓練方法

Audex無需音頻預訓練，直接從純文本SFT檢查點開始，通過多階段SFT課程逐步添加能力：文本SFT、音頻熱身、音頻生成、音頻理解。在音頻熱身階段，文本令牌嵌入保持凍結，解凍會降低文本質量。單階段混合所有數據的嘗試破壞了長上下文檢索，因此多階段成為默認方式。

SFT之後，研究人員應用純文本級聯強化學習（Cascade RL）和多域政策蒸餾（MOPD）。音頻任務在文本RL後幾乎無退化，同時文本得分得到提升。

訓練數據混合包括1574億音頻令牌和3205億文本令牌，任務涵蓋自動語音識別（ASR）、AST、TTS、文本到音頻和音頻理解。

基準測試與性能

在文本任務上，Audex與骨幹網絡表現接近：MMLU-Redux得分86.4對86.3，IMO AnswerBench 81.1對79.3。在MMLU-Pro和GPQA-Diamond上有小幅下降。Audex在多個推理、對齊和指令遵循基準上超過了純文本的Qwen3.5-35B-A3B，而Qwen3-Omni-30B-A3B-Thinking與其自身骨幹相比則出現了較大的推理能力下降。

在語音識別上，Audex以6.82%的平均詞錯誤率在OpenASR排行榜上領先開放模型，優於Step-Audio-R1.1-33B和Qwen3-Omni-30B-A3B-Thinking。

在音頻理解上，表現有喜有憂：Audex在MMAU上領先公開模型，但在MMAR和MMSU上與最強的音頻LLM存在差距。Audex還能生成通用音頻，這是其他領先開源模型所不具備的能力。

用例示例

多語言客服中心：轉錄德語電話並翻譯成英語。輔助工具：為閲讀應用添加固定語音的文本到語音功能（Seed-TTS-Eval英文詞錯誤率低至1.70）。聲音設計：根據“森林鳥鳴”等描述生成10秒音頻片段。語音助手：語音到語音作為級聯運行，但一個檢查點即可服務所有步驟。

快速入門

Audex遵循ChatML模板，參考容器為vLLM 0.20.0。音頻理解、ASR和翻譯共享音頻問答格式。研究人員建議音頻理解使用top_p=0.9、温度0.7，識別和翻譯使用貪婪採樣，生成任務需要無分類器指導。

優勢與不足

優勢：與純文本骨幹相比幾乎無文本退化；單一統一模型，兼容Megatron-LM和vLLM；在開源模型中唯一能生成通用音頻；在多個推理和對齊任務上超越Qwen3.5-35B-A3B。

不足：非商業許可限制商用；音頻理解在MMAR和MMSU上落後於頂級音頻LLM；語音轉語音為級聯而非原生全雙工；強化學習僅針對文本，音頻-文本RL為未來工作。

查看論文和模型權重。