跳到主要内容
AI News HubLIVE
站内改写5 分钟阅读

SageMaker AI无服务器模型定制新增全量微调(FFT)支持

文章摘要

Amazon SageMaker AI Serverless Model Customization现已支持全量微调(FFT)。本文探讨FFT在关键基准上何时优于LoRA,从权重矩阵的谱特性解释质量差距,提供基于实验的超参数调优指南,并展示如何开始使用。

来源AWS Machine Learning Blog作者: Sandeep Raveesh-Babu
SageMaker AI无服务器模型定制新增全量微调(FFT)支持
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

微调是指继续在企业的自有数据上训练预训练大语言模型(LLM),使其适应特定领域、任务或风格,而不是仅依赖通用知识。对企业而言,价值是双重的:微调后的模型在领域特定工作上准确率明显更高,同时降低成本——一个更小的专用模型可以以极低的每token推理价格匹配甚至超越前沿模型在你任务上的表现。这些节省在数百万次请求中会不断累积。因此,微调已成为企业以更低成本从LLM获取更多价值的关键过程。

像低秩适应(LoRA)这样的参数高效微调(PEFT)方法已成为将LLM适配到下游任务的实用方案,通过仅更新一小部分LLM参数来降低GPU容量需求。LoRA旨在在效率和表达能力之间取得平衡,然而权重更新的低秩性质本质上限制了LoRA微调模型的表示能力,可能损害在复杂任务上的性能。这种权衡阻碍了LoRA方法捕捉多样任务所需复杂模式的能力。为了应对这些挑战,全量微调(FFT)同时更新模型参数,克服了低秩限制,使LLM能够充分吸收复杂的领域特定知识。

Amazon SageMaker AI Serverless Model Customization现已支持全量微调(FFT),因此你可以在无需管理基础设施的情况下实现卓越的模型质量。无需GPU预置、集群设置或分布式训练配置。在本文中,我们探讨FFT在关键基准上何时何地持续优于LoRA,检查解释这一质量差距的模型权重矩阵的谱特性,提供基于使用SageMaker AI无服务器模型定制进行受控实验的实用超参数调优指南,并展示如何在SageMaker AI上开始使用FFT。

全量微调:为何重要

像LoRA这样的模型定制类型通过冻结预训练模型的权重并向模型层注入小型、独立的替换矩阵对(称为低秩矩阵)来减少可训练参数。这对于简单的适应很有效,但低秩结构本质上限制了微调模型的表示能力。随着任务变得更加复杂且数据集规模超过数万样本,LoRA会达到准确率平台期,此时增加秩(从而增加可训练参数)无法弥合与标准微调的准确率差距。这一平台期表明,性能差距不仅仅是因为参数更少,而是由秩亏本身造成的。低秩更新无法捕捉深度任务适应所需权重变化的全部复杂性。

然而,对于存在大型优质数据集的复杂任务和领域,全秩微调通过同时更新模型参数而表现出色。FFT均匀地修改模型的权重矩阵,利用模型权重矩阵的全部表示能力,而不是将更新限制在一个小子空间内,并且不引入低秩方法特有的突然的局部失真。结果是更强的模型收敛、跨模型层更好的激活对齐,以及一个忠实捕捉目标任务分布和预训练知识丰富性的模型。FFT的质量优势随着数据集规模增长而增长:在10万+训练样本下,FFT在代码生成任务的LLM-as-Judge语义正确率上达到90.0%,如下图所示。

图1:随着训练数据扩展到10万+样本,各训练方法的LLM-as-Judge语义正确率

此外,以下雷达图提供了整体视图:基础模型(内多边形)在所有轴上显示持续较低的分数。LoRA(中多边形)显示出强劲、平衡的改进。FFT(外多边形)在每个维度上进一步延伸,在BLEU和ROUGE-2分数上领先尤为明显。这种多维度的质量领先证实,它不是特定指标的假象,而是全秩优化的根本优势。

图2:比较基础模型、LoRA和FFT在各质量维度上的雷达图

我们如何得出这些结果、用于模型定制的编码数据集以及实验过程的细节将在以下部分详细解释。

实验与基准结果

在本文中,我们在Amazon SageMaker AI Studio中提供的Qwen3-4B基础模型上使用监督微调(SFT)技术,并通过SageMaker AI Serverless Model Customization在LoRA和FFT训练方法上执行了所有微调实验。在每个实验中,两种方法都接收相同的提示、目标和评估代码。

数据集:代码生成11万指令对

对于所有实验,我们在Magicoder-Evol-Instruct-110K数据集上微调Qwen3-4B基础模型,这是一个精心策划的包含11万个编码指令-响应对的语料库,涵盖算法设计、调试、数据结构和系统编程。我们对数据集应用了90/5/5的划分:99,000条记录用于训练,5,500条用于验证以在定制作业期间监控收敛和训练损失,5,500条保留作为留出测试集用于最终模型的无偏评估,如SageMaker AI数据集资产中注册并如下图所示。

图3:在SageMaker AI数据集资产中注册的11万指令对数据集

无服务器模型定制作业

本文中的所有模型定制实验均在Amazon SageMaker AI Serverless Model Customization上执行。SageMaker AI上的无服务器模型定制让数据科学家和机器学习(ML)工程师专注于模型微调,而无需管理基础设施或GPU容量规划。你指定基础模型、数据集和超参数,服务以无服务器方式自动处理计算分配和检查点管理。以下代码片段展示了使用SageMaker Python SDK在无服务器模型定制上启动全量微调(FFT)作业的一个此类实验。

from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType

trainer = SFTTrainer(
    model=base_model_id,
    training_type=TrainingType.FULL,
    model_package_group=model_package_group_name,
    training_dataset=training_dataset,
    validation_dataset=val_dataset,
    s3_output_path=output_path,
    sagemaker_session=sess,
    role=role,
)

# 根据需要配置超参数
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_steps_ratio = 0.1

trainer.train(wait=False)

该代码触发一个无服务器模型定制作业,如下图所示,训练性能指标在作业中跟踪并可在链接的MLflow应用中查看。

图4:在MLflow中跟踪训练指标的无服务器模型定制作业

从全量微调切换到LoRA只需更改一处:将TrainingType.FULL设置为TrainingType.LORA。其余代码保持不变:

trainer = SFTTrainer(
    model=base_model_id,
    training_type=TrainingType.LORA,  # ← 仅更改此处
    model_package_group=model_package_group_name,
    training_dataset=training_dataset,
    validation_dataset=val_dataset,
    ...
)

模型评估与基准测试

我们在SageMaker AI Serverless Model Customization内置的三种不同评估方法上测试了生成的定制模型:LLM-as-Judge、PRIMECODE和MMLU,如下图所示。每种方法针对模型质量的不同维度:语义正确性、代码生成保真度和通用知识保留。它们共同提供了模型定制质量的全面图景。

图5:SageMaker AI Serverless Model Customization中的三种内置评估方法

LLM-as-Judge指标使用前沿模型(本文中为Amazon Nova Pro)作为自动评估器,它读取模型生成的代码以及原始提示,并判断解决方案在逻辑上是否正确。在无服务器模型定制上,你可以同时评估定制模型和基础模型,如下图所示。

图6:比较定制模型和基础模型的LLM-as-Judge评估

PRIMECODE是一种自定义评分器评估,使用确定性文本相似度指标衡量模型生成的代码与参考解决方案的接近程度:BLEU(n-gram精确度)、ROUGE-1/2/L(面向召回的重叠度)和F1(精确度-召回率平衡)。这些指标完全可复现,使其成为受控消融研究的理想选择。我们使用PRIMECODE作为表面级代码质量的主要指标,因为它量化了模型对训练数据中存在的编码模式、格式约定和实现风格的学习程度。高BLEU分数意味着模型生成的代码在结构上类似于专家编写的解决方案,如下图所示结果。

图7:定制模型的PRIMECODE文本相似度分数

MMLU(大规模多任务语言理解)是一个内置基准,测试模型在57个学术科目上的表现,从抽象代数和解剖学到营养学和哲学。它衡量模型在领域特定微调后是否保留其广泛的通用知识,如下图所示。我们使用MMLU作为遗忘检测的护栏。在代码上微调可能会覆盖存储在模型权重中的通用能力。通过跟踪微调前后的MMLU准确率,我们可以精确量化模型为代码生成改进而牺牲了多少通用知识,以及我们的超参数选择是加速还是缓解这一权衡。

图8:微调前后的MMLU准确率

大规模快速实验

SageMaker AI Serverless Model Customization的易于设置和使用让我们无需重新配置基础设施即可进行快速实验。我们在LoRA和FFT之间更改训练类型,扫描超参数,并在多个基础模型上测试。在短时间内,我们在多个支持的基础模型(Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26B)上运行了数十个模型定制实验,系统地消融学习率、批量大小、预热比例、 epoch数和数据集规模。每个实验从作业提交到评估结果都在几小时内完成,生成的微调模型自动作为版本化模型包注册在SageMaker模型注册表中,可供审查或部署。

超参数选项

SageMaker AI Serverless Model Customization支持许多超参数。在本节中,我们解释几个重要的超参数,这些基于我们在上述代码生成任务中跨多个超参数配置运行的一系列实验。虽然有效值会因任务而异,但在这些实验中观察到的模式为配置FFT模型定制作业提供了有用的起点。有关在启动FFT模型定制作业前可以配置的超参数的更多信息,请参阅超参数文档页面。

  1. learning_rate(学习率)

在全量微调中,学习率控制每个权重更新的激进程度。与LoRA只改变小适配器矩阵不同,过高的FFT学习率会永久覆盖预训练知识。在我们的实验中,以下学习率×数据集规模风险图显示,在大数据集(超过[截断])上,2e-5的学习率...

(注:由于原始文本在此处截断,后续内容无法翻译。以上为完整可见部分的重写。)

展开要点与分析

文章情报

工程师进阶

要点

  • FFT通过更新全部模型参数克服LoRA低秩表示能力的限制,在复杂任务和大数据集上表现更优
  • 实验显示在10万+训练样本下,FFT在代码生成任务的LLM-as-Judge语义正确率上达到90.0%,且在各质量维度上全面领先LoRA
  • SageMaker AI无服务器模型定制让用户无需管理基础设施即可运行FFT,仅需更改TrainingType即可在FFT和LoRA间切换

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。