使用 Amazon SageMaker AI 無伺服器模型定製微調 NVIDIA Nemotron 3 模型

模型定製將通用 AI 模型轉化為企業專屬資產。透過針對特定領域的資料對基礎模型（FM）進行微調，企業可以教會 AI 理解其獨特的工作流程、術語以及深度領域專業知識，同時嚴格遵循品牌風格並減少幻覺。對於企業而言，這不僅是最佳化，更是一種專有智慧財產權的創造。微調後的模型將組織的獨特智慧和最佳實踐編碼到其架構中，從而建立起難以被現成的公開前沿模型複製的競爭優勢。同時，針對目標任務對較小的開放權重模型進行微調，其效能往往可與更大的專有模型匹敵甚至超越。這種方法在將敏感資料保留在安全私有基礎設施內的同時，實現了顯著的成本節約。

Amazon SageMaker AI 提供豐富的開源模型和微調技術選擇，以幫助組織根據其獨特需求定製基礎模型。現在，SageMaker AI 為 NVIDIA Nemotron 3 模型引入了無伺服器模型定製功能，首先支援 Nemotron 3 Nano（總引數 300 億，活躍引數 30 億）和 Nemotron 3 Super（總引數 1200 億，活躍引數 120 億）。藉助監督微調（SFT）、基於可驗證獎勵的強化學習（RLVR）以及基於 AI 反饋的強化學習（RLAIF），您可以針對特定領域和工作流調整這些高效能開放權重模型，而無需預置或管理任何基礎設施。

NVIDIA Nemotron 3 模型在 Amazon SageMaker AI 上的概述

NVIDIA Nemotron 3 是一系列開放權重的 LLM，採用混合 Mamba-Transformer Mixture-of-Experts (MoE) 架構，原生支援高達 1M token 的上下文長度。該架構交錯使用三種互補層型別：Mamba-2 層用於高效線性時間序列處理、Transformer 注意力層用於精確關聯回憶、以及潛在混合專家（LatentMoE）層，該層在路由到專家之前壓縮 token。這種設計在每次前向傳播中僅啟用總引數的一部分（例如 Super 變體中的 120B 啟用 12B），從而以顯著降低的計算成本實現高吞吐量和強準確性。模型透過 NeMo Gym 進行多環境強化學習，使其在實際多步驟智慧體任務中表現良好，涵蓋編碼、推理和長上下文分析等領域。

SageMaker AI 無伺服器模型定製

Amazon SageMaker AI 無伺服器模型定製消除了微調中繁重的非差異化工作。您無需預置 GPU 叢集、配置分散式訓練框架或管理檢查點與容錯。SageMaker AI 負責基礎設施預置和訓練編排，讓您專注於資料、業務用例和評估，並僅為使用量付費。對於 Nemotron 3 模型，SageMaker AI 支援監督微調（SFT）、基於可驗證獎勵的強化學習（RLVR）和基於 AI 反饋的強化學習（RLAIF）。

• 監督微調（SFT）：提供標記的輸入-輸出對來訓練模型新行為。適用於高質量示例，如領域問答對、格式化工具呼叫、風格對齊響應或任務特定指令完成。
• 強化微調（RFT/RLVR）：使用基於可驗證獎勵的強化學習，透過獎勵訊號最佳化模型行為。模型為每個提示生成多個候選響應，獎勵函式評分，模型更新策略以偏好評分高的響應。適用於工具呼叫準確性、程式碼正確性或格式合規等有自然可驗證目標的任務。
• 基於 AI 反饋的強化學習（RLAIF）：使用獨立的 AI 模型指導最佳化。AI 模型評估輸出並提供反饋訊號，無需人工標記獎勵資料即可迭代改進策略。適用於對齊模型語氣、幫助性和安全性，改進開放生成任務質量。

在 SageMaker AI Studio 中進行模型定製

您可以透過 SageMaker Studio 控制台或 SageMaker Python SDK 開始使用。本文詳細介紹了透過控制台操作的具體步驟，包括必備條件、資料準備（JSONL格式）、選擇模型和微調技術、配置超引數以及啟動任務。訓練過程中，SageMaker AI 自動記錄指標並可在 MLflow 應用中檢視。訓練完成後，您可以使用內建評估功能評估模型質量。

總之，NVIDIA Nemotron 3 模型與 SageMaker AI 無伺服器定製的結合，為企業提供了一種強大且經濟高效的方式來構建專用 AI 模型，在保持資料安全的同時釋放 AI 的潛在價值。