本文にスキップ
AI News HubLIVE
要約のみ

NVIDIA AI、Nemotron 3 Ultraをリリース:長時間エージェント向けのオープンな550B混合エキスパート・ハイブリッドMamba-Transformer

NVIDIAは、Nemotron 3 Ultraをリリースしました。これは、550B総パラメータ(55Bアクティブ)のオープンな混合エキスパート(MoE)モデルで、ハイブリッドなMamba-Attentionアーキテクチャを採用し、長時間実行エージェント向けに設計されています。100万トークンのコンテキストを備え、同等のオープンLLMと比較して最大約6倍の推論スループットを同等の精度で実現し、OpenMDW-1.1の下でオープンな重み、トレーニングデータ、レシピを提供します。

ソースMarkTechPost著者: Asif Razzaq
NVIDIA AI、Nemotron 3 Ultraをリリース:長時間エージェント向けのオープンな550B混合エキスパート・ハイブリッドMamba-Transformer
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ハイブリッドMamba-Attentionアーキテクチャを採用。Mamba層は準二次スケーリング、アテンション層は正確なリコールを保証。
  • 総パラメータ550B、トークンあたり55Bのみアクティブ。LatentMoEとマルチトークン予測で効率化。
  • 事後学習はマルチ教師オン・ポリシー蒸留(MOPD)を採用。10以上の専門教師モデルを1つの学生モデルに統合。
  • 3つの推論モードをサポート。中程度の努力モードではトークン数が約2.5倍削減され、精度は約7%低下のみ。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。