NVIDIA发布Audex（Nemotron-Labs-Audex-30B-A3B）：统一音频-文本LLM，保留骨干网络的文本智能

NVIDIA发布了Audex（全称Nemotron-Labs-Audex-30B-A3B），一个统一的音频-文本大语言模型（LLM），能够理解和生成音频与语音，同时保留其骨干网络的文本智能。该模型的检查点及一个较小的2B版本已以非商业许可发布。

大多数多模态模型在增加音频或视觉输出时会遭遇“文本税”——文本基准测试得分下降。NVIDIA研究团队报告称，即使是仅处理语音输出的模型也无法幸免。Audex的设计目标正是避免这种退化。

Audex是什么？

Audex是一个单一的Mixture-of-Experts（MoE）Transformer解码器，拥有300亿总参数，每次激活30亿参数。其骨干网络是Nemotron-Cascade-2-30B-A3B，一个纯文本MoE LLM，结合了Mamba和Transformer架构，共52层，128个可路由专家，每次激活6个专家。

设计相当简洁：音频输入被编码并投影到文本嵌入空间，文本令牌和量化的音频令牌在生成过程中被统一处理。没有思考者-说话者分离，也没有堆叠的级联模型。

由于设计的简洁性，Audex可运行在标准LLM堆栈上，包括用于训练的Megatron-LM和用于推理的vLLM。它支持指令模式和思考模式，上下文长度可达100万令牌。

统一设计如何工作？

围绕LLM骨干的三个组件：一个音频编码器（使用来自Audio Flamingo 3的AF-Whisper，基于Whisper Large-v3架构，处理16kHz输入）；一个两层MLP适配器，将音频特征映射到模型维度；以及一个扩展的词汇表，包含离散音频输出令牌（从131,072增至205,312）。

输出使用两种编解码器：语音使用X-Codec2，每秒50令牌，采用单层有限标量量化（FSQ），码本大小65,536；非语音声音使用X-Codec，每秒200令牌，采用四层扁平残差矢量量化（RVQ）。

训练方法

Audex无需音频预训练，直接从纯文本SFT检查点开始，通过多阶段SFT课程逐步添加能力：文本SFT、音频热身、音频生成、音频理解。在音频热身阶段，文本令牌嵌入保持冻结，解冻会降低文本质量。单阶段混合所有数据的尝试破坏了长上下文检索，因此多阶段成为默认方式。

SFT之后，研究人员应用纯文本级联强化学习（Cascade RL）和多域政策蒸馏（MOPD）。音频任务在文本RL后几乎无退化，同时文本得分得到提升。

训练数据混合包括1574亿音频令牌和3205亿文本令牌，任务涵盖自动语音识别（ASR）、AST、TTS、文本到音频和音频理解。

基准测试与性能

在文本任务上，Audex与骨干网络表现接近：MMLU-Redux得分86.4对86.3，IMO AnswerBench 81.1对79.3。在MMLU-Pro和GPQA-Diamond上有小幅下降。Audex在多个推理、对齐和指令遵循基准上超过了纯文本的Qwen3.5-35B-A3B，而Qwen3-Omni-30B-A3B-Thinking与其自身骨干相比则出现了较大的推理能力下降。

在语音识别上，Audex以6.82%的平均词错误率在OpenASR排行榜上领先开放模型，优于Step-Audio-R1.1-33B和Qwen3-Omni-30B-A3B-Thinking。

在音频理解上，表现有喜有忧：Audex在MMAU上领先公开模型，但在MMAR和MMSU上与最强的音频LLM存在差距。Audex还能生成通用音频，这是其他领先开源模型所不具备的能力。

用例示例

多语言客服中心：转录德语电话并翻译成英语。辅助工具：为阅读应用添加固定语音的文本到语音功能（Seed-TTS-Eval英文词错误率低至1.70）。声音设计：根据“森林鸟鸣”等描述生成10秒音频片段。语音助手：语音到语音作为级联运行，但一个检查点即可服务所有步骤。

快速入门

Audex遵循ChatML模板，参考容器为vLLM 0.20.0。音频理解、ASR和翻译共享音频问答格式。研究人员建议音频理解使用top_p=0.9、温度0.7，识别和翻译使用贪婪采样，生成任务需要无分类器指导。

优势与不足

优势：与纯文本骨干相比几乎无文本退化；单一统一模型，兼容Megatron-LM和vLLM；在开源模型中唯一能生成通用音频；在多个推理和对齐任务上超越Qwen3.5-35B-A3B。

不足：非商业许可限制商用；音频理解在MMAR和MMSU上落后于顶级音频LLM；语音转语音为级联而非原生全双工；强化学习仅针对文本，音频-文本RL为未来工作。

查看论文和模型权重。