使用Tunix GRPO、LoRA介面卡和GSM8K獎勵訓練Gemma-3進行結構化數學推理

本教程詳細演示瞭如何使用Tunix、JAX、LoRA和自定義獎勵函式，構建一個端到端的GRPO訓練工作流，使Gemma-3模型能夠解決GSM8K數學問題。整個過程包括環境準備、Hugging Face認證、模型載入、提示格式設計、獎勵函式定義、LoRA介面卡附加、基線評估以及GRPO訓練。我們將逐步講解每個步驟，確保讀者能夠復現這一強化學習訓練流程。

首先，我們需要配置Colab環境。透過安裝Tunix、JAX、Flax、Qwix、TensorFlow和datasets等庫，為GRPO訓練奠定基礎。同時，設定Hugging Face認證資訊，確保能夠下載Gemma-3模型。為了避免不必要的干擾，我們會停用不需要的日誌路徑，並確保TensorFlow不會佔用加速器資源。此外，我們還需要驗證JAX能夠正確識別可用的TPU或GPU裝置。在環境配置階段，我們還會定義核心訓練超引數，包括學習率、LoRA設定、生成限制、檢查點路徑以及裝置網格，這些引數將控制模型在可用硬體上的訓練方式。

接下來是提示格式的設計和獎勵函式的定義。我們要求模型將推理過程放在推理標籤內，最終的數字答案放在答案標籤內，從而生成結構化的輸出。從Hugging Face載入GSM8K資料集後，我們提取每個問題的標準答案，並將其轉換為GRPO rollout管道所需的提示格式。為了給模型提供有效的反饋訊號，我們設計了多個獎勵函式：精確格式匹配獎勵評估輸出是否符合預期的標籤結構；近似標籤使用獎勵對標籤數量進行評分；答案正確性獎勵比較預測答案與真實答案；數字提取獎勵則作為後備方案，確保即使格式略有偏差也能獲得反饋。這些獎勵函式共同作用，引導模型生成格式正確且數學上準確的回答。

在模型載入階段，我們從Hugging Face下載指定的Gemma-3檢查點，並使用safetensors建立基礎模型。同時，準備分詞器和EOS令牌列表，確保生成過程能夠正確終止。為了保持訓練輕量化，我們僅向注意力模組和MLP投影模組附加LoRA介面卡，而不更新整個模型的權重。這樣可以在單加速器設定下高效地進行策略訓練。在開始GRPO訓練之前，我們構建了一個基於取樣器的評估函式，對基線模型進行測試，以衡量其初始準確率和格式遵循程度。

最後，我們配置Tunix RL叢集和最佳化器。使用餘弦退火學習率排程和AdamW最佳化器，並設定叢集配置，包括角色到網格的對映、rollout引擎以及訓練配置。訓練配置中指定了評估間隔、最大步數、檢查點儲存選項等。執行GRPO訓練後，模型透過組取樣生成改進策略，最終可以匯出合併後的模型。整個過程展示了在單加速器環境下，僅訓練介面卡權重即可顯著提升模型的數學推理能力，為資源受限的場景提供了一種實用的強化學習解決方案。