展示 HN：我訓練了一個使用強化學習來訓練模型的智慧體（花費 –1.3k 美元）

一位開發者展示了一個名為“AI 訓練 AI”的專案，其中智慧體透過強化學習學習如何編寫訓練作業來訓練其他模型。該專案涉及兩個巢狀的強化學習迴圈：外層迴圈訓練智慧體，內層迴圈訓練小型語言模型。

外層迴圈中，智慧體（基於 Qwen3.6-35B-A3B，LoRA 微調）被賦予一個訓練任務描述，例如“教一個小模型解析多跳角色查詢”。智慧體在沙盒工作區中透過讀寫檔案來生成完整的訓練作業，包括環境、獎勵函式、資料集和超引數。然後透過 submit_job 提交作業，驗證透過後，作業被分配到 Runpod GPU 叢集上執行實際訓練。內層迴圈使用 prime-rl 框架對小型基礎模型（如 Qwen3-0.6B 或 1.7B）進行 GRPO 訓練，並評估訓練前後的效能。

獎勵設計結合了驗證效率（首次成功提交得 1.0）、任務質量（訓練後模型得分與最佳基線相比的提升）和訓練速度。在 54 個訓練步驟中（分三個子執行：pilot-7、7b、7c），總獎勵從約 0.0 提升到約 0.63 的峰值。獎勵的提升分為兩個階段：第一階段專注於提高過程可靠性（驗證透過率），第二階段開始產生更好的模型。智慧體學會了選擇更好的基礎模型（從偏好 0.6B 轉向 1.7B）和調整超引數。

專案使用了六個任務族進行訓練，其中一個完全保留用於測試泛化能力。結果顯示，智慧體在未見過的任務族上也表現出了效能提升，從基線的 0.399 獎勵提高到約 0.545。

基礎設施方面，使用 Runpod 的溫池 GPU（最多 16 個節點），根據基準測試選擇價效比最高的 GPU（通常為 A40 或 RTX 4090）。外層迴圈使用 Tinker 的託管 RL API，配備非同步離策略機制以減少延遲。整個協調執行在 CPU 機器上。

成本方面，整個主要階段總支出約 950 英鎊（約 1,275 美元），包括 Runpod 的 GPU 成本和 Tinker 的 API 費用。每個訓練作業約 0.13 至 0.30 美元，每個外層迴圈批次約 15 至 23 美元。

智慧體的權重已在 Hugging Face 上開源（Danau5tin/ai-trains-ai-trainer），程式碼庫包含復現和擴充套件的詳細指南。