NVIDIAがAudex（Nemotron-Labs-Audex-30B-A3B）を公開：テキスト知能を保持する統合音声テキストLLM

NVIDIAはAudex（Nemotron-Labs-Audex-30B-A3B）を公開しました。これは統合型の音声テキスト大規模言語モデル（LLM）であり、音声と音声の理解・生成を行うと同時に、バックボーンのテキスト知能を保持します。チェックポイントと小型版のAudex-2Bは非商用ライセンスで公開されています。

多くのマルチモーダルモデルは「テキスト税」を支払います。ラボが音声や視覚の出力を追加すると、テキストベンチマークが低下することが多いのです。NVIDIAの研究チームは、音声のみの出力モデルでもこれが起こると報告しています。Audexはそのような劣化を避けるように設計されています。

Audexとは？

Audexは単一のMixture-of-Experts（MoE）トランスフォーマーデコーダーです。総パラメータ数は300億、トークンあたり30億が活性化されます。バックボーンはNemotron-Cascade-2-30B-A3Bで、Mamba-Transformerハイブリッドのテキスト専用MoE LLMです。52層、128のルーティング可能なエキスパート、6つの活性化エキスパートで構成されます。

設計は意図的にシンプルです。音声入力はエンコードされ、テキスト埋め込み空間に投影されます。テキストトークンと量子化された音声トークンは、生成中に均一に扱われます。シンカー-トーカーの分離やモデルのカスケードはありません。

シンプルな設計により、Audexは標準的なLLMスタック（Megatron-LM、vLLM）で動作します。インストラクトモードとシンキングモードの両方をサポートし、コンテキスト長は100万トークンに達します。

統一設計の仕組み

LLMバックボーンの周りには3つのコンポーネントがあります。

• 音声エンコーダー：Audio Flamingo 3のAF-Whisperを使用し、Whisper Large-v3アーキテクチャを共有、16kHz入力を処理。
• 2層MLPアダプター：音声特徴をモデル次元にマッピング。
• 拡張語彙：離散音声出力トークン（元の131,072から205,312に増加）。

出力には2つのコーデックを使用。音声にはX-Codec2（毎秒50トークン、FSQ、コードブック65,536）、非音声にはX-Codec（毎秒200トークン、4層フラット化RVQ）。

トレーニング

Audexは音声事前学習を必要とせず、テキスト専用SFTチェックポイントから開始し、段階的に能力を追加します。多段階SFTカリキュラムは、テキストSFT、音声ウォームアップ、音声生成、音声理解の順で実行されます。音声ウォームアップ中、テキストトークン埋め込みは凍結されます。凍結解除はテキスト品質を低下させました。すべてのデータを一度に混合する単一段階レシピは長文検索を破壊したため、多段階がデフォルトになりました。

SFT後、テキスト専用のカスケードRLとマルチドメインオンポリシー蒸留（MOPD）を適用。音声タスクでは、このテキスト専用RL後もほぼ劣化は見られず、テキストスコアは同時に向上しました。

データミックスは大規模で、1574億の音声トークンと3205億のテキストトークンを含みます。タスクはASR、AST、TTS、テキストから音声、音声理解に及びます。

ベンチマークとパフォーマンス

テキストでは、Audexはバックボーンに密接に追従します。MMLU-Reduxで86.4（バックボーン86.3）、IMO AnswerBenchで81.1（バックボーン79.3）と優位に立つケースもあります。MMLU-ProとGPQA-Diamondではわずかな低下が見られます。

Audexは、いくつかの推論、アライメント、指示追従ベンチマークでテキスト専用のQwen3.5-35B-A3Bを上回ります。比較対象のQwen3-Omni-30B-A3B-Thinkingは、自身のバックボーンに対して大きな推論低下を示しています。

音声認識では、Audexはこれらのオープンモデルをリードし、OpenASRリーダーボードで平均単語誤り率6.82を記録。Step-Audio-R1.1-33BやQwen3-Omni-30B-A3B-Thinkingを上回ります。

音声理解は賛否両論です。AudexはMMAUでオープンモデルをリードしますが、MMARやMMSUでは最強の音声LLMに差をつけられています。また、Audexは汎用音声を生成できますが、他の主要なオープンモデルはこれができません。

ユースケース例

多言語コールセンター：ドイツ語の通話を書き起こし、英語に翻訳。アクセシビリティツール：固定音声のテキスト読み上げを読書アプリに追加（Seed-TTS-Eval英語WER 1.70）。サウンドデザイン：「森の鳥のさえずり」などのキャプションから10秒のクリップを生成。音声アシスタント：音声間のやり取りはカスケードとして動作するが、1つのチェックポイントですべてのステップを処理。

クイックスタート

AudexはChatMLテンプレートに従います。リファレンスコンテナはvLLM 0.20.0。音声理解、ASR、翻訳は共通の音声QAフォーマットを使用。音声理解にはtop_p=0.9、温度0.7、認識と翻訳にはグリーディサンプリング、生成タスクでは分類器フリーガイダンスを推奨。

強みと弱み

強み：テキスト専用バックボーンに対するテキスト劣化がほぼない；単一統一モデルでMegatron-LM/vLLMと互換性；オープンモデルで唯一汎用音声を生成；複数の推論・アライメントタスクでQwen3.5-35B-A3Bをリード。

弱み：非商用ライセンスで商用利用制限；MMAR/MMSUでトップ音声LLMに劣る；音声間のやり取りはカスケードでネイティブ全二重ではない；強化学習はテキスト専用で、音声テキストRLは将来の課題。

論文とモデルウェイトを参照。