NVIDIA Vera Rubin、エージェンティックAIのポストトレーニングにおける「知能対ドル」を最大化

プロのアスリートを想像してみてください。エリートパフォーマーを他の選手と分けるのは、試合の合間に行われる継続的な改善、すなわち新しい対戦相手に適応し、前回の試合で露呈した問題に基づいてスキルを磨くことです。エージェンティックAIも同じように機能します。モデルはもはや単に答えを求められるのではなく、目標を与えられ、環境の変化、エッジケースの出現、ツールの変更に適応し続ける必要があります。生成モデルがプロンプトに応答するのとは異なり、エージェンティックモデルは計画を立て、さまざまなツールを使用し、実行中に遭遇する問題から回復しなければなりません。

そのため、初期トレーニング後にモデルを洗練するフェーズであるポストトレーニングは、もはや一度きりの仕上げステップではありません。それは継続的です。なぜなら、エージェンティックモデルが動作する環境は急速に変化するからです。エージェントが使用するツールは週ごとに変わる可能性があります。テストセットでは予期されなかったエッジケースが本番環境で表面化します。デプロイメントごとに独自のコードベース、ポリシー、環境がもたらされます。

ポストトレーニングは、新しい問題が表面化するたびに本番環境からフィードバックループとして実行されます。コンピューティングフットプリントが拡大するのは、単一の実行が大きくなるからではなく、実行が決して止まらないからです。エージェンティックAIはポストトレーニングに新しいコンピューティングパターンを導入し、それをエージェンティック時代の中心的なワークロードとし、知能対ドル（intelligence per dollar）の主要な推進力としています。

ポストトレーニングの目標は、継続的な学習サイクルにおけるすべてのフォワードパスとバックワードパスの収量を最大化することにより、知能対ドルを最大化することです。フォワードパスである推論は、トークンあたりのコストで測定されます。つまり、トークンあたりのコストの改善はすべて、直接知能対ドルに還元されます。

ポストトレーニングは知能が構築される場所です。事前トレーニングでは、モデルは次のトークンを予測することを学習し、流暢さは得られますが知能は得られません。ポストトレーニングでは、コードの作成、マルチステップタスクの計画、検索ツールの使用、問題発生時の回復を学習します。推論はその後に行われる、モデルが実際に仕事をする段階であり、トークンあたりのコストで価格設定されます。

暗記すべき解答はなく、報酬のみがあるため、モデルは強化学習（RL）手法で学習します。タスクが与えられると、試行（フォワードパス）を書き出します。これは実際の仕事と同じ作業です。試行はスコアリングされ、教訓がモデルの重みを更新します（バックワードパス）。数百万回の試行を経て、知能が成長します。

各ステップは計算集約的であり、このループを大規模に実行することはオーケストレーションの問題です。何千もの環境が並行してロールアウトを生成し、報酬が検証され、更新された重みがトレーニングにフィードバックされ、アクセラレーターが完全に活用されます。NVIDIA NeMoオープンライブラリ（トレーニング環境用のNeMo Gym、分散ポストトレーニング用のNeMo RLなど）は、ポストトレーニングを特注の研究コードから再現可能なインフラストラクチャに変えます。

なぜ知能対ドルがトークンあたりのコストを拡張するのか？推論が収益エンジンであるならば、ポストトレーニングはその乗数です。モデルの能力が高ければ高いほど、提供される各トークンの価値も高まります。トークンあたりのコストは推論ファクトリーの主要指標であり、100万トークンを提供するための総コストです。知能対ドルはその一段上に位置し、異なる質問に答えます。つまり、提供する価値のあるモデルを構築し、その環境が変化しても価値を維持し続けるにはどれだけのコストがかかるのか？

この二つは入れ子構造であり、競合するものではありません。トークンあたりのコストを下げるAIインフラは、モデルに組み込まれる知能の各ポイントのコストも下げます。そして、組み込まれた知能の各ポイントは、推論ファクトリーが提供する各トークンの価値を高めます。言い換えれば、トークンあたりのコストは運用収量を測定し、知能対ドルはモデル知能への投資が実を結んでいるかどうかを測定します。

知能対ドルの最大化：Nemotron 3 Ultraのポストトレーニング。NVIDIA Nemotron 3 Ultraは、オープンウェイトの5500億パラメータ混合専門家（MoE）モデルであり、検証可能なベンチマークと完全に開示されたポストトレーニングレシピ（NeMo RL上で実行）を提供します。これは、標準的な実世界のコーディングベンチマークであるSWE-bench verifiedで71.7%をスコアし、オープンソースプロジェクトの実際のソフトウェアバグの約10件中7件に対して有効な修正を生成しました。各修正はプロジェクト自身のテストでチェックされています。

NVIDIA Blackwellプラットフォームは実行あたりのコストを下げ、エージェンティック時代に求められる頻繁なポストトレーニングを経済的に実現可能にします。その知能は、提供されるすべてのトークンによって収穫されます。NVIDIA Vera Rubinプラットフォームはその軌道をさらに延ばし、Blackwell世代の4分の1のGPUで最大のモデルをトレーニングします。これはエンドツーエンドでコード設計され、エージェンティックポストトレーニング負荷に対する知能対ドルを最大化します。つまり、実行あたりのロールアウト数が増え、より多くの環境が関与し、ポストトレーニングサイクルが決して止まらないようにします。

ポストトレーニングワークフローの実際の応用：Prime Intellectのラボは、NVIDIA Blackwell上でフロンティアオープンモデルを継続的にポストトレーニングし、推論オーケストレーションにNVIDIA Dynamoを使用しています。Vera Rubinにより、Prime Intellectは強化学習環境を拡大し、実行あたりのロールアウトを増やし、トレーニングから推論への反復ループを加速して、企業向けに知能対ドルを最大化する計画です。Prime Intellectはサンドボックスインフラを最適化してNVIDIA Vera CPUと統合し、低レイテンシでエネルギー効率の高い強化学習を実現しています。NVIDIA NemotronやNVIDIA NeMo Gymなどのオープンソースツールとモデルもそのソフトウェアスタックに統合されています。実際のRLサンドボックスワークロードを代替のx86アーキテクチャと比較したところ、Prime IntellectはVeraがCPUあたりのスループットを平均30%向上させることを発見しました。

PerplexityのRLポストトレーニングスタックは、数百のNVIDIA GPU上で非同期的に実行され、RDMAベースの重み転送エンジンを使用して、トレーニングと推論のコンピュートノード間で1兆パラメータモデルを2秒未満で同期します。結果として得られたポストトレーニング済みのQwen3 235Bモデルは、NVIDIA GB200 NVL72システムで提供されます。

Together AIは、ポストトレーニングをサービスとして提供しており、教師ありファインチューニング、RL、直接選好最適化を含みます。このサービスは、AI Native Cloudプラットフォーム上のポストトレーニングの全範囲をサポートする豊富なAPIとSDKを介して提供されます。NVIDIAのプラットフォームと最適化されたカーネルライブラリ上で実行されており、次にVera Rubinプラットフォームを活用することを検討しています。

NVIDIA Vera Rubinの詳細はこちら。AIファクトリーがワークロード全体で知能対ドルを最大化するためのプラットフォームです。また、フロンティアモデルをトレーニングするためのNVIDIAのフルスタックプラットフォームもご覧ください。