在監督微調（SFT）過程中，為訓練資料建立高質量的思維鏈推理軌跡往往不切實際且成本高昂。因此，您可能會選擇跳過推理步驟，僅使用輸入和輸出進行訓練。然而，推理是Amazon Nova 2系列模型的關鍵能力，已被證明能顯著提升Nova及其他前沿模型在編碼和數學等難題上的效能。藉助Amazon Nova 2定製化，您可以透過SFT和強化微調（RFT）等技術，在特定領域發揮思考模型的力量。對於SFT，釋放這些增益的關鍵要求是SFT資料集中包含黃金思維鏈軌跡，即經過驗證和清理的強教師模型思考軌跡。
本文探討了為缺乏推理軌跡的資料集生成思考令牌的想法。我們首先研究了推理抑制問題，然後介紹了自我蒸餾推理（SDR），並透過三個基準驗證了其效果，最後提供了實用建議。SDR複用基礎Amazon Nova 2 Lite模型的思維鏈作為非推理資料集的替代。透過實驗，我們觀察到SDR帶來的影響，包括提升目標效能和緩解災難性遺忘。這符合越來越多發現蒸餾資訊重要性的研究，即自我蒸餾。
下圖展示了SDR與普通SFT和模型合併相比，在目標效能和數學保持方面的差異。模型合併是一種保留先前習得技能的簡單方法，它將SFT檢查點合併回基礎模型，但通常會犧牲SFT檢查點的增益，因為災難性遺忘導致目標效能與通用效能之間的權衡。而SDR在保持大部分通用效能的同時，實現了與純SFT相當或更好的目標效能。
由於災難性遺忘，我們發現對資料集進行SFT會導致先前知識的完全丟失。例如，普通SFT使數學效能從70%（基礎）平均下降到6%。使用SDR，我們幾乎可以完全恢復。自我蒸餾推理讓我們能夠在不犧牲目標效能的情況下保留基礎模型的能力，並且在許多情況下還能提升目標效能。模型合併是緩解災難性遺忘的常見解決方案，但SDR更有效地實現了這種保留。
SDR透過用模型自身的推理軌跡擴充資料集，提供了訓練中的正則化。它不需要單獨的教師模型或事後插值。這種方法無需人工標註，適用於任何領域的現有SFT資料集，並且在保留目標效能和通用效能方面比模型合併更有效。
與模型合併相比，自我蒸餾在數學效能上幾乎相同（70%對68%），同時平均提升目標效能6.5%以上。這一發現與最近倡導自我蒸餾作為緩解災難性遺忘強大機制的研究一致。
背景：無推理令牌的SFT可能導致推理能力喪失 在介紹方法之前，理解為什麼對無推理軌跡的SFT會導致模型效能下降至關重要。本節研究推理抑制問題，量化推理對目標效能的影響，並討論模型合併作為現有恢復機制。
推理抑制問題 在推理模式開啟的情況下對非推理資料集進行SFT訓練會導致一個關鍵問題：即使顯式開啟推理模式，模型在推理時也會失去推理能力。我們假設這種現象發生是因為訓練目標同時計算推理令牌和輸出令牌的損失。當訓練資料只包含輸入-輸出對而沒有中間推理步驟時，模型無法獲得生成連貫推理軌跡的監督訊號。損失函式本質上懲罰不直接貢獻於最終輸出的令牌，訓練模型繞過其推理機制。這種行為體現了捷徑學習，即模型依賴虛假相關性而非學習穩健的推理模式。
量化推理的影響 儘管存在抑制問題，但訓練和推理時開啟推理在目標效能上產生顯著益處。為確保公平比較，我們保持訓練和推理設定一致：比較訓練和推理時都開啟推理與都關閉推理。實驗表明，訓練和推理時都開啟推理帶來顯著提升。下表展示了在LLaVA CoT資料集上不同LoRA合併權重下的效果。
合併權重 | 目標效能（推理開啟） | 目標效能（推理關閉） | 增量 0.0（基礎） | 12.30% | 12.30% | 0% 0.3 | 34.38% | 35.28% | -0.9% 0.5 | 60.51% | 48.80% | +11.7% 0.7 | 66.67% | 54.05% | +12.6% 1.0（完全合併） | 65.17% | 47.90% | +17.3% 表1：推理和合並權重對目標效能的影響。訓練和推理模式保持一致。
模型合併作為恢復機制 目前針對無推理令牌的SFT用例，我們推薦的解決推理抑制問題的方法是使用模型合併作為恢復推理技能的機制。類似於模型合併如何恢復數學或編碼能力，我們發現透過微調模型與基礎模型之間的加權插值可以恢復推理能力。這種恢復與通用效能指標（如數學和編碼基準）的恢復密切相關，表明推理是支撐多個下游技能的基礎能力。
為了更好理解這一點，我們在實驗中使用了以下基準：
- ToolACE：工具呼叫基準（10K樣本），評估模型根據使用者查詢和可用工具定義生成正確函式呼叫的能力。
- CoCoHD：長上下文結構化提取（730樣本），從美國國會聽證會記錄中提取後設資料。
- GovReport：長上下文抽象摘要（17K樣本），生成美國政府報告摘要。
- Invoice-OCR：多模態文件理解（約500樣本），從掃描發票影像中提取結構化欄位。
- CaptionGen：影片字幕（1800樣本），生成影片片段的描述性字幕。
我們研究推理是否隨模型合併而出現。在一個指令跟隨基準上，我們計算未經推理訓練的模型生成的推理令牌數量。x軸顯示定製模型與基礎模型之間的合併權重，其中0.0對應基礎模型，1.0是未經合併的SFT模型。
對定製化的影響 這些發現對部署定製化模型有重要影響。首先，在訓練和推理時保持相同的推理模式對最佳化效能至關重要。其次，若不加以干預，領域特定的SFT會顯著退化通用推理能力。第三，模型合併提供了一種事後解決方案，但需要仔細調整合並權重以平衡競爭目標。這些權衡促使我們開發一種無需事後干預就能保留推理能力的訓練方法。
推理在SFT中的作用 SFT中的推理軌跡承擔三個關鍵功能，將強化微調（RFT）、正則化和自我蒸餾正規化聯絡起來。首先，推理軌跡作為隱式策略正則化，約束微調模型接近基礎模型的策略，防止災難性遺忘和能力退化，類似於RLHF中的KL正則化。其次，推理提供過程監督，類似於RFT中的逐步獎勵塑造，而非僅結果監督，從而帶來更穩健的泛化。第三，自我蒸餾——模型從自身預測中學習——已在從Born-Again Networks到Constitutional AI等多個領域被證明有效。推理軌跡透過捕捉模型的問題解決過程而非僅最終輸出，提供了特別豐富的自我監督，如近期持續學習研究所展示的。
近期工作表明，有效的微調模型在引數空間中保持與基礎模型的接近，而我們的方法利用這一洞察，將基礎模型自身的推理軌跡作為訓練目標，建立與模型內部表徵一致的學習訊號，同時在推理過程中提供密集的令牌級監督。
自我蒸餾推理 我們提出了一種有效方法，在無推理軌跡的資料集上為SFT定製化使用自我蒸餾推理（SDR）。該過程分三個階段：首先，使用基礎推理模型（如Amazon Nova 2 Lite）為SFT資料集中的每個示例生成推理軌跡。然後，透過將生成的推理軌跡新增到原始輸出之前來擴充訓練資料。最後，在推理模式開啟的情況下對模型進行微調，對推理令牌和輸出令牌都提供監督。
SDR為您的SFT工作流提供了多項優勢。零標註成本，因為不需要人工建立推理軌跡。推理軌跡與基礎模型自身的問題解決方法一致。該技術可擴充套件到任何領域的現有SFT資料集，並允許靈活使用不同的教師模型。
為SFT構建推理軌跡 我們查詢Amazon Bedrock以獲得給定資料集的推理軌跡。有兩種方法構建思維鏈（以下內容因篇幅限制省略）。