ファインチューニングとは、事前学習済みの大規模言語モデル(LLM)を企業独自のデータで継続的に訓練し、汎用知識だけに頼るのではなく、特定のドメイン、タスク、スタイルに適応させるプロセスです。企業にとっての価値は二つあります。ファインチューニングされたモデルはドメイン固有の作業で測定可能なほど精度が向上し、同時にコストを削減します。小さい特化モデルが、トークンあたりの推論価格のほんの一部で、最先端モデルと同等以上にあなたのタスクをこなせるのです。その節約は数百万のリクエストにわたって積み重なります。したがって、ファインチューニングは、企業がLLMからより低コストでより多くの価値を引き出すために不可欠なプロセスとなっています。
Low-Rank Adaptation(LoRA)のようなパラメータ効率の良いファインチューニング(PEFT)手法は、LLMのパラメータのごく一部だけを更新することでGPU容量要件を削減し、下流タスクへのファインチューニングの実用的なソリューションとして登場しました。LoRAは効率性と表現力のバランスを目指しますが、重み更新の低ランク性は本質的にLoRAファインチューニングモデルの表現力を制限し、複雑なタスクでのパフォーマンスを損なう可能性があります。このトレードオフは、多様なタスクに必要な複雑なパターンをLoRA手法が捉える能力を妨げます。これらの課題に対処するため、全量ファインチューニング(FFT)はモデルパラメータを同時に更新し、低ランクの制限を克服して、LLMが複雑なドメイン固有の知識を完全に吸収できるようにします。
Amazon SageMaker AI Serverless Model Customizationは全量ファインチューニング(FFT)をサポートするようになり、インフラを管理することなく優れたモデル品質を実現できます。GPUのプロビジョニング、クラスタのセットアップ、分散トレーニングの設定は不要です。本記事では、FFTが主要ベンチマークでLoRAを一貫して上回る時期と場所を探り、この品質差を説明するモデル重み行列のスペクトル特性を調査し、SageMaker AI Serverless Model Customizationを使用した対照実験に基づく実用的なハイパーパラメータチューニングガイドラインを提供し、SageMaker AIでFFTを始める方法を示します。
全量ファインチューニング:なぜ重要か
LoRAのようなモデルカスタマイゼーションタイプは、事前学習済みモデルの重みを凍結し、小さな独立した置換行列ペア(低ランク行列と呼ばれる)をモデル層に注入することで、トレーニング可能なパラメータを削減します。これは単純な適応にはうまく機能しますが、低ランク構造は本質的にファインチューニングされたモデルの表現力を制限します。タスクが複雑になり、データセットが数万例を超えて拡大するにつれて、LoRAは精度のプラトーに達し、ランク(したがってトレーニング可能なパラメータ)を増やしても標準的なファインチューニングとの精度差を埋めることができません。このプラトーは、パフォーマンスの差が単にパラメータが少ないからではなく、ランク不足自体によって引き起こされていることを明らかにします。低ランク更新は、深いタスク適応に必要な重み変化の完全な複雑さを捉えることができません。
しかし、大規模で高品質なデータセットが存在する複雑なタスクやドメインでは、全ランクファインチューニングがモデルパラメータを同時に更新することで優れています。FFTは、低ランク手法に特徴的な突然の局所的な歪みを導入することなく、更新を小さな部分空間に制限するのではなく、モデルの重み行列の完全な表現能力を使用して、モデルの重み行列を均一に変更します。その結果、より強いモデル収束、モデル層間のより良い活性化アライメント、およびターゲットタスク分布と事前学習知識の豊かさの両方を忠実に捉えるモデルが得られます。FFTの品質優位性はデータセットの規模とともに大きくなります。10万件以上のトレーニング例で、FFTはコード生成タスクのLLM-as-Judgeセマンティック正確性で90.0%を達成しました(下図参照)。
図1:トレーニングデータが10万件以上の例に拡大するにつれた、トレーニング方法別のLLM-as-Judgeセマンティック正確性
さらに、次のレーダーチャートは全体像を提供します。ベースモデル(内側の多角形)はすべての軸で一貫して低いスコアを示します。LoRA(中央の多角形)は強力でバランスの取れた改善を示します。FFT(外側の多角形)はすべての次元でさらに拡大し、特にBLEUとROUGE-2スコアで顕著なリードを見せています。この多次元の品質リードは、それが特定の指標に固有のアーティファクトではなく、全ランク最適化の根本的な優位性であることを確認します。
図2:ベースモデル、LoRA、FFTを品質次元で比較したレーダーチャート
これらの結果に至った方法の詳細、モデルカスタマイゼーションに使用したコーディングデータセット、および実験プロセスは、以下のセクションで詳しく説明します。
実験とベンチマーク結果
本記事では、Amazon SageMaker AI Studioで提供されるQwen3-4Bベースモデルに教師ありファインチューニング(SFT)技術を使用し、SageMaker AI Serverless Model Customizationを使用してLoRAとFFTのトレーニング方法で全てのファインチューニング実験を実行しました。各実験内で、両方の方法が同じプロンプト、ターゲット、評価コードを受け取りました。
データセット:コード生成11万指示ペア
すべての実験で、Qwen3-4BベースモデルをMagicoder-Evol-Instruct-110Kデータセットでファインチューニングしました。これは、アルゴリズム設計、デバッグ、データ構造、システムプログラミングにわたる11万のコーディング指示-応答ペアの厳選されたコーパスです。データセットに90/5/5の分割を適用しました。99,000レコードをトレーニングに、5,500を検証用に(カスタマイゼーションジョブ中の収束とトレーニング損失を監視)、5,500を最終モデルの偏りのない評価のためのホールドアウトテストセットとして確保し、SageMaker AIデータセットアセットに登録しました(下図参照)。
図3:SageMaker AIデータセットアセットに登録された11万指示ペアデータセット
サーバーレスモデルカスタマイゼーションジョブ
本記事のすべてのモデルカスタマイゼーション実験は、Amazon SageMaker AI Serverless Model Customizationで実行されました。SageMaker AIのサーバーレスモデルカスタマイゼーションにより、データサイエンティストと機械学習(ML)エンジニアはインフラやGPU容量計画を管理することなくモデルファインチューニングに集中できます。ベースモデル、データセット、ハイパーパラメータを指定すると、サービスがサーバーレス方式で計算割り当てとチェックポイント管理を自動的に処理します。次のコードスニペットは、SageMaker Python SDKを使用してサーバーレスモデルカスタマイゼーションで全量ファインチューニング(FFT)ジョブを起動する実験の一例です。
from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType
trainer = SFTTrainer(
model=base_model_id,
training_type=TrainingType.FULL,
model_package_group=model_package_group_name,
training_dataset=training_dataset,
validation_dataset=val_dataset,
s3_output_path=output_path,
sagemaker_session=sess,
role=role,
)
# 必要に応じてハイパーパラメータを設定
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_steps_ratio = 0.1
trainer.train(wait=False)このコードはサーバーレスモデルカスタマイゼーションジョブをトリガーし(下図参照)、トレーニングパフォーマンス指標はジョブで追跡され、リンクされたMLflowアプリで表示できます。
図4:MLflowでトレーニング指標を追跡するサーバーレスモデルカスタマイゼーションジョブ
全量ファインチューニングからLoRAへの切り替えは1か所の変更だけです。TrainingType.FULLをTrainingType.LORAに設定します。残りのコードは同じままです。
trainer = SFTTrainer(
model=base_model_id,
training_type=TrainingType.LORA, # ← 唯一の変更
model_package_group=model_package_group_name,
training_dataset=training_dataset,
validation_dataset=val_dataset,
...
)モデル評価とベンチマーク
SageMaker AI Serverless Model Customizationに組み込まれた3つの多様な評価方法(LLM-as-Judge、PRIMECODE、MMLU)で、生成されたカスタマイズモデルをテストしました(下図参照)。それぞれがモデル品質の異なる側面をターゲットにしています:セマンティック正確性、コード生成の忠実性、一般知識の保持。これらを組み合わせることで、モデルカスタマイゼーション品質の包括的な全体像を提供します。
図5:SageMaker AI Serverless Model Customizationの3つの組み込み評価方法
LLM-as-Judge指標は、フロンティアモデル(本記事ではAmazon Nova Pro)を自動評価者として使用し、モデルが生成したコードを元のプロンプトとともに読み、ソリューションが論理的に正しいかどうかを判断します。サーバーレスモデルカスタマイゼーションでは、カスタマイズモデルとベースモデルの両方を評価できます(下図参照)。
図6:カスタマイズモデルとベースモデルを比較するLLM-as-Judge評価
PRIMECODEは、決定論的テキスト類似度指標(BLEU(n-gram精度)、ROUGE-1/2/L(再現志向の重複)、F1(精度-再現バランス))を使用して、モデルが生成したコードが参照ソリューションにどれだけ近いかを測定するカスタムスコアラー評価です。これらの指標は完全に再現可能であり、対照消融研究に理想的です。PRIMECODEを表面レベルのコード品質の主要指標として使用したのは、モデルがトレーニングデータに存在するコーディングパターン、フォーマット慣習、実装スタイルをどれだけ学習したかを定量化するからです。高いBLEUスコアは、モデルが専門家が書いたソリューションに構造的に類似したコードを生成することを意味します(下図の結果参照)。
図7:カスタマイズモデルのPRIMECODEテキスト類似度スコア
MMLU(大規模多タスク言語理解)は、抽象代数学や解剖学から栄養学や哲学まで57の学術科目でモデルをテストする組み込みベンチマークです。ドメイン固有のファインチューニング後もモデルが広範な一般知識を保持しているかどうかを測定します(下図参照)。MMLUを忘却検出のガードレールとして使用しました。コードでのファインチューニングは、モデルの重みに保存された一般能力を上書きする可能性があります。ファインチューニング前後のMMLU精度を追跡することで、モデルがコード生成の改善のためにどれだけの一般知識を犠牲にするか、そしてハイパーパラメータの選択がこのトレードオフを加速するか緩和するかを正確に定量化できます。
図8:ファインチューニング前後のMMLU精度
大規模な迅速な実験
SageMaker AI Serverless Model Customizationのセットアップと使用の容易さにより、インフラを再プロビジョニングすることなく迅速な実験が可能になりました。LoRAとFFTの間でトレーニングタイプを変更し、ハイパーパラメータをスイープし、複数のベースモデルでテストしました。短期間に、複数のサポートされているベースモデル(Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26B)で数十のモデルカスタマイゼーション実験を実行し、学習率、バッチサイズ、ウォームアップ率、エポック数、データセット規模を体系的にアブレーションしました。各実験は、ジョブ投入から評価結果まで数時間で完了し、得られたファインチューニング済みモデルは自動的にバージョン付きモデルパッケージとしてSageMaker Model Registryに登録され、レビューやデプロイの準備が整いました。
ハイパーパラメータオプション
SageMaker AI Serverless Model Customizationは多くのハイパーパラメータをサポートしています。このセクションでは、前述のコード生成タスク内で複数のハイパーパラメータ構成にわたって実行した一連の実験に基づいて、いくつかの重要なハイパーパラメータを説明します。有効な値はタスクによって異なりますが、これらの実験で観察されたパターンは、FFTモデルカスタマイゼーションジョブを構成する際の有用な出発点を提供します。FFTモデルカスタマイゼーションジョブを起動する前に構成できるハイパーパラメータの詳細については、ハイパーパラメータのドキュメントページを参照してください。
- learning_rate(学習率)
全量ファインチューニングでは、学習率はすべての重みがどれだけ積極的に更新されるかを制御します。小さなアダプタ行列のみが変化するLoRAとは異なり、FFTの学習率が高すぎると、事前学習済みの知識が永久に上書きされます。私たちの実験では、次のLR×データセットサイズのリスクマップが示すように、大規模なデータセット([切り捨て]以上)で2e-5のLRは...
(注:元のテキストはここで切り捨てられているため、以降のコンテンツは翻訳できません。上記は完全に表示される部分の書き換えです。)