使用 Amazon SageMaker AI 无服务器模型定制微调 NVIDIA Nemotron 3 模型

模型定制将通用 AI 模型转化为企业专属资产。通过针对特定领域的数据对基础模型（FM）进行微调，企业可以教会 AI 理解其独特的工作流程、术语以及深度领域专业知识，同时严格遵循品牌风格并减少幻觉。对于企业而言，这不仅是优化，更是一种专有知识产权的创造。微调后的模型将组织的独特智慧和最佳实践编码到其架构中，从而建立起难以被现成的公开前沿模型复制的竞争优势。同时，针对目标任务对较小的开放权重模型进行微调，其性能往往可与更大的专有模型匹敌甚至超越。这种方法在将敏感数据保留在安全私有基础设施内的同时，实现了显著的成本节约。

Amazon SageMaker AI 提供丰富的开源模型和微调技术选择，以帮助组织根据其独特需求定制基础模型。现在，SageMaker AI 为 NVIDIA Nemotron 3 模型引入了无服务器模型定制功能，首先支持 Nemotron 3 Nano（总参数 300 亿，活跃参数 30 亿）和 Nemotron 3 Super（总参数 1200 亿，活跃参数 120 亿）。借助监督微调（SFT）、基于可验证奖励的强化学习（RLVR）以及基于 AI 反馈的强化学习（RLAIF），您可以针对特定领域和工作流调整这些高性能开放权重模型，而无需预置或管理任何基础设施。

NVIDIA Nemotron 3 模型在 Amazon SageMaker AI 上的概述

NVIDIA Nemotron 3 是一系列开放权重的 LLM，采用混合 Mamba-Transformer Mixture-of-Experts (MoE) 架构，原生支持高达 1M token 的上下文长度。该架构交错使用三种互补层类型：Mamba-2 层用于高效线性时间序列处理、Transformer 注意力层用于精确关联回忆、以及潜在混合专家（LatentMoE）层，该层在路由到专家之前压缩 token。这种设计在每次前向传播中仅激活总参数的一部分（例如 Super 变体中的 120B 激活 12B），从而以显著降低的计算成本实现高吞吐量和强准确性。模型通过 NeMo Gym 进行多环境强化学习，使其在实际多步骤智能体任务中表现良好，涵盖编码、推理和长上下文分析等领域。

SageMaker AI 无服务器模型定制

Amazon SageMaker AI 无服务器模型定制消除了微调中繁重的非差异化工作。您无需预置 GPU 集群、配置分布式训练框架或管理检查点与容错。SageMaker AI 负责基础设施预置和训练编排，让您专注于数据、业务用例和评估，并仅为使用量付费。对于 Nemotron 3 模型，SageMaker AI 支持监督微调（SFT）、基于可验证奖励的强化学习（RLVR）和基于 AI 反馈的强化学习（RLAIF）。

• 监督微调（SFT）：提供标记的输入-输出对来训练模型新行为。适用于高质量示例，如领域问答对、格式化工具调用、风格对齐响应或任务特定指令完成。
• 强化微调（RFT/RLVR）：使用基于可验证奖励的强化学习，通过奖励信号优化模型行为。模型为每个提示生成多个候选响应，奖励函数评分，模型更新策略以偏好评分高的响应。适用于工具调用准确性、代码正确性或格式合规等有自然可验证目标的任务。
• 基于 AI 反馈的强化学习（RLAIF）：使用独立的 AI 模型指导优化。AI 模型评估输出并提供反馈信号，无需人工标记奖励数据即可迭代改进策略。适用于对齐模型语气、帮助性和安全性，改进开放生成任务质量。

在 SageMaker AI Studio 中进行模型定制

您可以通过 SageMaker Studio 控制台或 SageMaker Python SDK 开始使用。本文详细介绍了通过控制台操作的具体步骤，包括必备条件、数据准备（JSONL格式）、选择模型和微调技术、配置超参数以及启动任务。训练过程中，SageMaker AI 自动记录指标并可在 MLflow 应用中查看。训练完成后，您可以使用内置评估功能评估模型质量。

总之，NVIDIA Nemotron 3 模型与 SageMaker AI 无服务器定制的结合，为企业提供了一种强大且经济高效的方式来构建专用 AI 模型，在保持数据安全的同时释放 AI 的潜在价值。