NVIDIA釋出Audex（Nemotron-Labs-Audex-30B-A3B）：統一音訊-文本LLM，保留骨幹網路的文本智慧

NVIDIA釋出了Audex（全稱Nemotron-Labs-Audex-30B-A3B），一個統一的音訊-文本大語言模型（LLM），能夠理解和生成音訊與語音，同時保留其骨幹網路的文本智慧。該模型的檢查點及一個較小的2B版本已以非商業許可釋出。

大多數多模態模型在增加音訊或視覺輸出時會遭遇“文本稅”——文本基準測試得分下降。NVIDIA研究團隊報告稱，即使是僅處理語音輸出的模型也無法倖免。Audex的設計目標正是避免這種退化。

Audex是什麼？

Audex是一個單一的Mixture-of-Experts（MoE）Transformer解碼器，擁有300億總引數，每次啟用30億引數。其骨幹網路是Nemotron-Cascade-2-30B-A3B，一個純文本MoE LLM，結合了Mamba和Transformer架構，共52層，128個可路由專家，每次啟用6個專家。

設計相當簡潔：音訊輸入被編碼並投影到文本嵌入空間，文本令牌和量化的音訊令牌在生成過程中被統一處理。沒有思考者-說話者分離，也沒有堆疊的級聯模型。

由於設計的簡潔性，Audex可執行在標準LLM堆疊上，包括用於訓練的Megatron-LM和用於推理的vLLM。它支援指令模式和思考模式，上下文長度可達100萬令牌。

統一設計如何工作？

圍繞LLM骨幹的三個元件：一個音訊編碼器（使用來自Audio Flamingo 3的AF-Whisper，基於Whisper Large-v3架構，處理16kHz輸入）；一個兩層MLP介面卡，將音訊特徵對映到模型維度；以及一個擴充套件的詞彙表，包含離散音訊輸出令牌（從131,072增至205,312）。

輸出使用兩種編解碼器：語音使用X-Codec2，每秒50令牌，採用單層有限標量量化（FSQ），碼本大小65,536；非語音聲音使用X-Codec，每秒200令牌，採用四層扁平殘差向量量化（RVQ）。

訓練方法

Audex無需音訊預訓練，直接從純文本SFT檢查點開始，透過多階段SFT課程逐步新增能力：文本SFT、音訊熱身、音訊生成、音訊理解。在音訊熱身階段，文本令牌嵌入保持凍結，解凍會降低文本質量。單階段混合所有資料的嘗試破壞了長上下文檢索，因此多階段成為預設方式。

SFT之後，研究人員應用純文本級聯強化學習（Cascade RL）和多域政策蒸餾（MOPD）。音訊任務在文本RL後幾乎無退化，同時文本得分得到提升。

訓練資料混合包括1574億音訊令牌和3205億文本令牌，任務涵蓋自動語音識別（ASR）、AST、TTS、文本到音訊和音訊理解。

基準測試與效能

在文本任務上，Audex與骨幹網路表現接近：MMLU-Redux得分86.4對86.3，IMO AnswerBench 81.1對79.3。在MMLU-Pro和GPQA-Diamond上有小幅下降。Audex在多個推理、對齊和指令遵循基準上超過了純文本的Qwen3.5-35B-A3B，而Qwen3-Omni-30B-A3B-Thinking與其自身骨幹相比則出現了較大的推理能力下降。

在語音識別上，Audex以6.82%的平均詞錯誤率在OpenASR排行榜上領先開放模型，優於Step-Audio-R1.1-33B和Qwen3-Omni-30B-A3B-Thinking。

在音訊理解上，表現有喜有憂：Audex在MMAU上領先公開模型，但在MMAR和MMSU上與最強的音訊LLM存在差距。Audex還能生成通用音訊，這是其他領先開源模型所不具備的能力。

用例示例

多語言客服中心：轉錄德語電話並翻譯成英語。輔助工具：為閱讀應用新增固定語音的文本到語音功能（Seed-TTS-Eval英文詞錯誤率低至1.70）。聲音設計：根據“森林鳥鳴”等描述生成10秒音訊片段。語音助手：語音到語音作為級聯執行，但一個檢查點即可服務所有步驟。

快速入門

Audex遵循ChatML模板，參考容器為vLLM 0.20.0。音訊理解、ASR和翻譯共享音訊問答格式。研究人員建議音訊理解使用top_p=0.9、溫度0.7，識別和翻譯使用貪婪取樣，生成任務需要無分類器指導。

優勢與不足

優勢：與純文本骨幹相比幾乎無文本退化；單一統一模型，相容Megatron-LM和vLLM；在開源模型中唯一能生成通用音訊；在多個推理和對齊任務上超越Qwen3.5-35B-A3B。

不足：非商業許可限制商用；音訊理解在MMAR和MMSU上落後於頂級音訊LLM；語音轉語音為級聯而非原生全雙工；強化學習僅針對文本，音訊-文本RL為未來工作。

檢視論文和模型權重。