Amazon SageMaker AI サーバーレスモデルカスタマイゼーションで NVIDIA Nemotron 3 モデルを微調整

モデルカスタマイゼーションは、汎用 AI モデルをエンタープライズ向けの専用アセットに変換します。ドメイン固有データでファンデーションモデル（FM）を微調整することにより、企業は AI に独自のワークフロー、用語、深いドメイン専門知識を教え、ブランドのトーンを厳守させ、幻覚を減少させることができます。企業にとって、これは単なる最適化ではなく、独自の知的財産の創出です。微調整されたモデルは、組織の独自の知性とベストプラクティスをアーキテクチャにエンコードし、既製の公開フロンティアモデルでは再現が難しい競争優位性を構築します。同時に、対象タスクに特化した小さなオープンウェイトモデルの微調整は、はるかに大きなプロプライエタリモデルの性能に匹敵するか、それを上回ることがよくあります。このアプローチは、機密データを安全なプライベートインフラ内に保持しながら、大幅なコスト削減を実現します。

Amazon SageMaker AI は、組織が独自のニーズに合わせてファンデーションモデルをカスタマイズできるよう、豊富なオープンソースモデルと微調整手法を提供しています。現在、SageMaker AI は NVIDIA Nemotron 3 モデル向けのサーバーレスモデルカスタマイゼーションを導入し、まず Nemotron 3 Nano（総パラメータ 300 億、アクティブ 30 億）と Nemotron 3 Super（総パラメータ 1200 億、アクティブ 120 億）をサポートしています。教師あり微調整（SFT）、検証可能な報酬による強化学習（RLVR）、AI フィードバックによる強化学習（RLAIF）を利用して、これらの高性能オープンウェイトモデルを特定のドメインやワークフローに適応させることができ、インフラのプロビジョニングや管理は不要です。

NVIDIA Nemotron 3 モデルの概要

NVIDIA Nemotron 3 は、ハイブリッド Mamba-Transformer Mixture-of-Experts（MoE）アーキテクチャを採用したオープンウェイト LLM ファミリーであり、最大 1M トークンのコンテキスト長をネイティブサポートします。このアーキテクチャは、3 つの補完的なレイヤータイプをインターリーブします：効率的な線形時間シーケンス処理のための Mamba-2 レイヤー、正確な連想呼び出しのための Transformer アテンションレイヤー、およびトークンを圧縮してから専門家にルーティングする Latent Mixture-of-Experts（LatentMoE）レイヤー。この設計により、フォワードパスごとに総パラメータの一部のみが活性化され（Super では 120B 中 12B）、低い計算コストで高いスループットと精度を実現します。モデルは NeMo Gym を通じて多環境強化学習を使用し、コーディング、推論、長文解析などの領域で実際のマルチステップエージェントタスクに調整されています。

SageMaker AI サーバーレスモデルカスタマイゼーション

Amazon SageMaker AI サーバーレスモデルカスタマイゼーションは、微調整の労力を大幅に軽減します。GPU クラスターのプロビジョニング、分散トレーニングフレームワークの構成、チェックポイントとフォールトトレランスの管理は不要です。SageMaker AI がインフラのプロビジョニングとトレーニングオーケストレーションを処理するため、データ、ビジネスユースケース、評価に集中でき、使用した分だけ支払います。Nemotron 3 モデルでは、教師あり微調整（SFT）、検証可能な報酬による強化学習（RLVR）、AI フィードバックからの強化学習（RLAIF）をサポートしています。

• 教師あり微調整（SFT）：ラベル付けされた入出力ペアを提供して新しい動作を学習させます。ドメイン Q&A ペア、フォーマットされたツール呼び出し、スタイル調整応答など、目的の動作の高品質な例に適しています。
• 強化学習微調整（RFT/RLVR）：検証可能な報酬による強化学習を使用して、報酬信号に対してモデルの動作を最適化します。モデルはプロンプトごとに複数の候補応答を生成し、報酬関数がスコアリングし、モデルは有効なものを優先するようにポリシーを更新します。ツール呼び出し精度、コード正確性、フォーマット準拠など、自然に検証可能な目標があるタスクに適しています。
• AI フィードバックからの強化学習（RLAIF）：別の AI モデルを使用してモデルの最適化をガイドします。AI モデルが出力を評価してフィードバック信号を提供し、人間がラベル付けした報酬データなしで反復的なポリシー改善をサポートします。モデルのトーン、有用性、安全性の調整、人間による評価が高コストまたは主観的な場合の応答品質の向上、オープンエンド生成タスクの洗練に適しています。

SageMaker AI Studio でのモデルカスタマイゼーション

サーバーレスモデルカスタマイゼーションを開始するには、SageMaker Studio コンソールまたは SageMaker Python SDK を使用できます。記事では、前提条件、データ準備（JSONL 形式）、モデルと微調整手法の選択、ハイパーパラメータの設定、ジョブの起動について詳しく説明しています。トレーニング中、SageMaker AI は自動的にメトリクスをログ記録し、MLflow アプリで表示できます。トレーニング完了後、組み込みの評価機能を使用してモデルを評価できます。

要約すると、NVIDIA Nemotron 3 モデルと SageMaker AI サーバーレスカスタマイゼーションの組み合わせは、データを安全に保ちながら AI の可能性を引き出す、強力でコスト効率の高い方法を企業に提供します。