大規模言語モデル（LLM）は一般的なタスクでは強力な結果を提供しますが、専有データ、内部プロセス、またはドメイン固有の用語を理解する必要がある専門的な作業ではしばしば困難に直面します。Amazon Nova Forge は、Amazon Nova を使用して独自の最先端モデルを構築できるようにすることで、この問題に対処します。初期モデルチェックポイントから開発を開始し、専有データを Amazon Nova がキュレーションしたトレーニングデータとブレンドし、カスタムモデルを AWS 上で安全にホストできます。重要な機能の1つはデータ混合であり、トレーニングデータをキュレーションデータセットとブレンドします。これにより、モデルがドメインを吸収しながら、広範な推論、指示追従、および言語能力を保持し、ドメインカスタマイズを通常損なう破滅的忘却を防ぎます。
成功するカスタマイズには、注意深いハイパーパラメータ調整が必要です。学習率、データ混合比率、チェックポイント選択、およびトレーニング手法はすべて、トレーニング実行を静かに損なう可能性がある方法で相互作用します。これらのいずれかが間違っていると、ある問題を別の問題と交換することになります。この記事では、Amazon Nova Forge でのハイパーパラメータ調整の技術（戦略的トレードオフ）と科学（メトリクス駆動の意思決定）をカバーし、高価な失敗したトレーニング実行を回避するのに役立ちます。
ドメイン固有タスクの微調整は、1つの領域のパフォーマンスを向上させながらモデルの汎用能力を低下させないことを意味し、そのバランスを正しく取ることは見た目よりも困難です。この投稿では、データとタスクに適したカスタマイズ戦略の選択から、学習率、バッチサイズ、チェックポイント設定など、結果に最も影響を与えるトレーニングパラメータの構成まで、そのバランスをナビゲートする方法を説明します。また、トレーニング実行の無駄につながる一般的な間違いと、それらを早期に発見する方法についてもカバーし、汎用能力を低下させたり、回避可能な失敗に計算資源を費やしたりすることなく、ドメインパフォーマンスを向上させることができます。
ハイパーパラメータ調整の課題 このバランスを達成することは、見た目よりも困難です。3つの基本的な課題により、ドメイン特化モデルでのハイパーパラメータ調整は特に難しくなっています。
課題1: 破滅的忘却 狭いドメインデータでモデルをトレーニングすると、モデルは事前学習中に学習した汎用能力を上書きする可能性があります。この現象は破滅的忘却と呼ばれ、トレーニングドメイン外のタスクでのパフォーマンス低下として現れます。モデルは高度に特化されますが、指示追従能力、推論能力、および広範な知識を失います。本番環境では、サポートチケットで微調整されたカスタマーサービスモデルが、あいまいなリクエストを推論したり、一貫したマルチターン会話を維持したりできなくなる可能性があります。
これにより、安定性と柔軟性のトレードオフが生じます。理想的には、モデルは組織のドメインを学習するのに十分な柔軟性を持ちながら、汎用能力を保持するのに十分な安定性を持ちます。Nova Forge は、データ混合（トレーニング中にトレーニングデータをキュレーションデータセットとブレンドする）とチェックポイント選択（既存のアライメントをどの程度保持するかを選択できる）を通じてこれに対処します。
課題2: 適切な学習率の特定 学習率は、各トレーニングバッチに応じてモデルの重みがどの程度変化するかを制御します。これは、すべてのカスタマイズ手法の中で最も敏感なハイパーパラメータです。高すぎる学習率は、モデルが最適状態を超過し、トレーニング中に不安定になり、基本能力を急速に忘れる原因になります。低すぎる学習率は、非常に遅い収束のために計算資源を無駄にします。適切な値は、データ分布、混合比率、およびトレーニング手法によって異なります。
Nova Forge は、各トレーニング手法に対して、これらの相互作用を考慮した調整済みのサービスデフォルトを提供します。データ混合を使用すると、感度がさらに高まります。Nova データを独自のデータと混合する際にデフォルトの学習率から逸脱することは、トレーニング不安定性の最も一般的な原因であるため、これらのサービスデフォルトが推奨される開始点です。
課題3: ベースラインパフォーマンスの制約 強化学習微調整（RFT）は、複数の候補応答を生成し、品質基準に対してスコアリングすることでモデルの動作を改善する手法です。モデルは自身の出力を比較し、より良いものを強化することで学習します。RFT は、ベースラインタスクの精度が特定の範囲内にある場合に最大限の能力を発揮します。ベースライン精度が低すぎる（モデルが正しい応答をほとんど生成しない）場合、報酬誘導探索が学習するための良い例が不足します。ベースライン精度がすでに非常に高い場合、追加のトレーニングは収穫逓減をもたらし、既存のパフォーマンスを低下させるリスクがあります。つまり、RFT はモデルが根本的に知識や推論能力を欠いている大きな能力ギャップを埋めることはできません。モデルがすでに部分的に示すことができる動作を洗練し強化するものであり、まったく新しい能力をゼロから教えるものではありません。
Nova Forge パイプラインは両方の境界に対処します。低ベースラインシナリオでは、最初に教師あり微調整（SFT）を実行して、効果的な報酬ベース学習に必要な基礎能力を確立します。高ベースラインタスクでは、報酬関数がモデルの品質範囲全体で識別力を持つことを確認します。ほとんどの応答がすでに高得点の場合、RFT には最適化する意味のあるシグナルがありません。
Nova Forge カスタマイズパイプライン これらの課題を理解することで、Amazon Nova Forge カスタマイズパイプラインがそれらに対処するように設計されている方法がわかります。Nova Forge は3つの補完的なカスタマイズ手法を提供し、それぞれがモデル開発ライフサイクルで明確な目的を果たします。
手法：継続事前学習（CPT）- 大量のラベルなしドメイン専有データを使用した自己教師あり学習により、基盤モデル（FM）の知識を拡張します。CPT はテキストコーパスからドメイン用語とパターンをモデルに教えます。ベースモデルに存在しない専門用語、業界概念、または組織知識をモデルが理解する必要がある場合に使用します。入力データ：大量のラベルなしドメインテキスト。Nova Forge はデータ混合と3つのチェックポイントオプション（事前学習済み、中期学習済み、事後学習済み）を備えた CPT をサポートし、それぞれ異なるデータ規模とダウンストリーム要件に適しています。
教師あり微調整（SFT）- 特定のタスクに特化した入力出力ペアのトレーニングデータセットを使用してモデルの動作をカスタマイズします。SFT はデモンストレーションを通じて「X を与えられたら Y を出力する」動作をモデルに教えます。モデルに特定の応答形式を守らせたり、特定のトーンを採用させたり、分類や抽出などの構造化タスクを実行させたりする必要がある場合に使用します。入力データ：タスクあたり 1,000～10,000 の高品質デモンストレーション。品質、一貫性、多様性が量よりも重要です。Nova Forge は、汎用能力を保持する推論指示追従カテゴリを含む Amazon Nova キュレーションデータセットを使用したデータ混合を備えた SFT をサポートします。
強化学習微調整（RFT）- 報酬信号を使用してモデルの出力を望ましい結果に導きます。RFT は事前トレーニングによって確立された動作近傍内でモデルを最適化し、シングルターンまたはマルチターンの会話タスクに適しています。応答品質を評価できる明確な報酬関数があり、SFT 単独で達成できる以上にパフォーマンスを押し上げたい場合に使用します。入力データ：プロンプトと報酬関数。Nova Forge は AWS Lambda を通じて外部報酬環境を持ち込むことをサポートし、ドメイン固有の品質評価のためのカスタム検証ロジックを可能にします。
3つのステージすべてを一緒に使用する場合（CPT→SFT→RFT）、最も強力な結果が得られます。ただし、適切なパイプラインを使用すれば、各ステージはオプションです。データの可用性、タスクタイプ、および開始点に依存します。CPT は、ベースモデルにタスクに必要なドメイン語彙や知識がない場合にのみ必要です。SFT と RFT は、タスクの要件に応じて独立して使用することも、組み合わせて使用することもできます。
戦略的判断 カスタマイズパイプラインを把握した上で、次のステップは構成を形成する定性的なトレードオフを理解することです。これらの戦略的判断は、個々のハイパーパラメータ値と同じくらい重要です：チェックポイント選択、データ混合、およびトレーニングモード。
チェックポイント選択（最も影響力のある判断） CPT では、チェックポイント選択はどのハイパーパラメータよりも影響力があります。Amazon Nova Forge は3つのチェックポイントオプションを提供し、それぞれ異なるデータ規模とダウンストリーム要件に適しています。
事前学習済みチェックポイントは最も柔軟性が高く、収束が最も速いです。これらのチェックポイントは新しいパターンを容易に受け入れ、大規模な CPT（トークンバジェットが 1,000 億トークンを超える）に最適です。事前学習済みチェックポイントと大規模データセットを使用する場合、知識吸収を加速するために高い学習率（例：1e-4）を使用できます。その後、SFT を実行する前にモデルが学習した内容に「落ち着く」ように、学習率を約 1e-6 まで徐々に下げる必要があります。事前学習済みチェックポイントには調整のための指示がないことに注意してください。CPT 後に、モデルをダウンストリームタスクに役立たせるには SFT を実行する必要があります。
中期学習済みチェックポイントは柔軟性とアライメントのバランスを取ります。これらはドメイン知識を受け入れながら、いくつかの指示追従動作を保持します。事後学習済みよりも速いドメイン適応を望むが、事前学習済みよりも安定性を求める中規模データセットに使用します。中期学習済みチェックポイントは、大規模で構造化されたデータセットを使用したフルランクトレーニング（微調整中にモデルのすべてのパラメータを更新する）に適しています。
事後学習済みチェックポイントは新しいパターンに対して最も耐性がありますが、指示追従と汎用能力を保持します。アライメントの保持がドメイン知識の吸収最大化よりも重要な小規模 CPT に使用します。事後学習済みチェックポイントは LoRA（低ランク適応）およびその他のパラメータ効率的な微調整手法の推奨開始点であり、モデルの既存能力を維持しながらターゲットを絞った適応を可能にします。小規模データセットまたは後期チェックポイントの場合は、サービスデフォルトから控えめな学習率値を使用します。
データ混合戦略 データ混合なしでは、狭いドメインデータでのトレーニングによりモデルが不安定になり、不安定なトレーニング動作（勾配の不安定性や損失スパイク）やパフォーマンスの突然の低下を引き起こす可能性があります。
データ混合を構成する際、ほとんどのユースケースではカスタマーデータを総混合の約 50% にバランスさせます。SFT の場合は、常に Nova データ混合に「推論指示追従」カテゴリを含めます。