大型語言模型（LLM）在通用任務上表現強勁，但在處理需要理解專有數據、內部流程或領域特定術語的專業工作時往往力不從心。Amazon Nova Forge 通過使您能夠構建自己的前沿模型來解決這一問題。您可以從早期模型檢查點開始開發，將專有數據與 Amazon Nova 精選的訓練數據混合，並在 AWS 上安全地託管自定義模型。其中一項關鍵功能是數據混合，它將您的訓練數據與精選數據集相結合，幫助模型吸收您的領域知識，同時保持廣泛的推理、指令遵循和語言能力，從而防止通常損害領域定製的災難性遺忘。
成功的定製需要精心的超參數調優。學習率、數據混合比例、檢查點選擇和訓練技術都會以可能暗中破壞訓練運行的方式相互作用。如果其中任何一項設置不當，就會顧此失彼。本文涵蓋了在 Amazon Nova Forge 上進行超參數調優的藝術（戰略權衡）和科學（指標驅動的決策），以幫助您避免昂貴的失敗訓練。
領域特定任務的微調意味着在提高某一領域性能的同時不降低模型的通用能力，而要實現這種平衡比看起來要困難得多。本文詳細介紹瞭如何駕馭這種平衡，從為數據和任務選擇合適的定製策略，到配置對結果影響最大的訓練參數（如學習率、批次大小和檢查點設置）。我們還介紹了導致訓練運行浪費的常見錯誤以及如何及早發現它們，從而在不降低通用能力或浪費計算資源的情況下提高領域性能。
超參數調優的挑戰 實現這種平衡比看起來要困難得多。三個基本挑戰使得領域專用模型的超參數調優尤其困難。
挑戰 1：災難性遺忘 當您在狹窄的領域數據上訓練模型時，模型可能會覆蓋預訓練期間學到的通用能力。這種現象稱為災難性遺忘，表現為在訓練領域之外的任務上性能下降。模型變得高度專業化，但失去了指令遵循能力、推理能力和廣泛知識。在生產中，這意味着一個針對客户服務工單微調的模型可能不再能夠推理模糊的請求或保持連貫的多輪對話。
這造成了穩定性與靈活性的權衡。理想情況下，模型應該足夠靈活以學習組織領域，但又足夠穩定以保留通用能力。Nova Forge 通過數據混合（在訓練期間將您的訓練數據與精選數據集混合）和檢查點選擇（讓您選擇保留多少現有對齊）來解決這個問題。
挑戰 2：找到合適的學習率 學習率控制模型權重對每批訓練樣本的響應程度。它是所有定製技術中最敏感的超參數。學習率過高會導致模型超調最優狀態、在訓練期間不穩定或快速遺忘基本能力。學習率過低則會因收斂過慢而浪費計算資源。正確的值取決於您的數據分佈、混合比例和訓練技術。
Nova Forge 為每種訓練技術提供了校準的服務默認值，考慮了這些相互作用。當您使用數據混合時，敏感性會進一步增加。在將 Nova 數據與您自己的數據混合時，偏離默認學習率是訓練不穩定的最常見原因，因此這些服務默認值是推薦的起點。
挑戰 3：基線性能約束 強化微調（RFT）是一種通過生成多個候選響應並根據質量標準對其進行評分來改進模型行為的技術。模型通過比較自己的輸出並強化更好的輸出進行學習。RFT 在其完整的容量內工作時，需要基線任務準確率處於特定範圍內（通過模型在微調前產生正確或高質量響應的頻率衡量）。如果基線準確率過低（模型很少產生正確響應），就沒有足夠的好例子供獎勵引導探索學習。如果基線準確率已經很高，額外的訓練會帶來遞減的收益，並可能損害現有性能。這意味着 RFT 無法彌合模型根本缺乏知識或能力來嘗試的任務之間的巨大能力差距。它只能優化和加強模型已經能夠部分展示的行為，而不是從頭教授全新的能力。
Nova Forge 管道解決了這兩個邊界。對於低基線場景，先運行監督微調（SFT）以建立有效獎勵學習所需的基礎能力。對於高基線任務，確保您的獎勵函數在模型質量範圍內具有區分能力。如果大多數響應已經得分很高，RFT 就沒有有意義的信號可以優化。
Nova Forge 定製管道 理解這些挑戰有助於瞭解 Amazon Nova Forge 定製管道是如何設計來應對它們的。Nova Forge 提供了三種互補的定製技術，每種技術在模型開發生命週期中都有其獨特的用途。
技術：繼續預訓練（CPT）- 通過大規模無標註領域專有數據的自監督學習擴展基礎模型（FM）知識。CPT 從文本語料庫中教授模型領域術語和模式。適用於需要模型理解基礎模型不存在的專業詞彙、行業概念或組織知識的情況。輸入數據：大量的無標註領域文本。Nova Forge 支持帶數據混合的 CPT 和三種檢查點選項（預訓練、中期訓練、後訓練），每種適用於不同的數據規模和下游需求。
監督微調（SFT）- 使用特定於目標任務的一對輸入-輸出數據集定製模型行為。SFT 通過演示教授模型“給定 X，輸出 Y”的行為。適用於需要模型遵循特定響應格式、採用特定語氣或執行結構化任務（如分類或提取）的情況。輸入數據：每個任務 1,000–10,000 個高質量演示。質量、一致性和多樣性比數量更重要。Nova Forge 支持帶數據混合的 SFT，使用 Amazon Nova 精選數據集，包括保留通用能力的推理指令遵循類別。
強化微調（RFT）- 使用獎勵信號引導模型輸出向偏好結果發展。RFT 在先前訓練建立的行為鄰域內優化模型，適用於單輪或多輪對話任務。適用於擁有能夠評估響應質量的清晰獎勵函數，並且希望將性能提升到 SFT 單獨實現之外的情況。輸入數據：提示詞和獎勵函數。Nova Forge 支持通過 AWS Lambda 自帶外部獎勵環境，實現特定領域質量評估的自定義驗證邏輯。
當三個階段結合使用時（CPT→SFT→RFT），效果最佳。但通過正確的管道，每個階段都是可選的，取決於您的數據可用性、任務類型和起始點。CPT 僅在基礎模型缺乏任務所需的領域詞彙或知識時需要。SFT 和 RFT 可以獨立使用或結合使用，取決於任務需求。
戰略決策 有了定製管道的視角，下一步是理解塑造配置的定性權衡。這些戰略決策與任何單個超參數值同樣重要：檢查點選擇、數據混合和訓練模式。
檢查點選擇（影響最大的決策） 對於 CPT，檢查點選擇比任何超參數都更具影響力。Amazon Nova Forge 提供了三個檢查點選項，每個適用於不同的數據規模和下游需求。
預訓練檢查點最靈活，收斂最快。這些檢查點容易接受新模式，最適合大規模 CPT，令牌預算超過 1000 億。使用預訓練檢查點和大數據集時，可以使用較高的學習率（如 1e-4）以加速知識吸收。然後需要逐漸降低學習率至約 1e-6，以便在運行 SFT 前讓模型“穩定”在所學的知識中。請注意，預訓練檢查點沒有微調指令，CPT 後必須運行 SFT 才能使模型對下游任務有用。
中期訓練檢查點平衡了靈活性和對齊。它們吸收領域知識，同時保留一些指令遵循行為。適用於中型數據集，期望比後訓練更快的領域適應，但比預訓練更穩定。中期訓練檢查點適用於全秩訓練（微調期間更新模型中的每個參數）和大型結構化數據集。
後訓練檢查點對新模式最具抵抗力，但保留指令遵循和通用能力。適用於較小規模的 CPT，當保留對齊比最大化領域知識吸收更重要時。後訓練檢查點是 LoRA（低秩適應）和其他參數高效微調方法的推薦起點，因為它們保持模型現有能力，同時允許有針對性的適應。對於小數據集或後期檢查點，使用來自服務默認值的保守學習率值。
數據混合策略 沒有數據混合，在狹窄領域數據上訓練可能導致模型變得不穩定，產生不穩定的訓練行為（梯度不穩定或損失峯值）或性能突然下降。
配置數據混合時，對於大多數用例，將客户數據控制在總混合的 50% 左右。對於 SFT，始終在 Nova 數據混合中包含“推理指令遵循”類別。