展示 HN：我訓練了一個使用強化學習來訓練模型的智能體（花費 –1.3k 美元）

一位開發者展示了一個名為“AI 訓練 AI”的項目，其中智能體通過強化學習學習如何編寫訓練作業來訓練其他模型。該項目涉及兩個嵌套的強化學習循環：外層循環訓練智能體，內層循環訓練小型語言模型。

外層循環中，智能體（基於 Qwen3.6-35B-A3B，LoRA 微調）被賦予一個訓練任務描述，例如“教一個小模型解析多跳角色查詢”。智能體在沙盒工作區中通過讀寫文件來生成完整的訓練作業，包括環境、獎勵函數、數據集和超參數。然後通過 submit_job 提交作業，驗證通過後，作業被分配到 Runpod GPU 集羣上執行實際訓練。內層循環使用 prime-rl 框架對小型基礎模型（如 Qwen3-0.6B 或 1.7B）進行 GRPO 訓練，並評估訓練前後的性能。

獎勵設計結合了驗證效率（首次成功提交得 1.0）、任務質量（訓練後模型得分與最佳基線相比的提升）和訓練速度。在 54 個訓練步驟中（分三個子運行：pilot-7、7b、7c），總獎勵從約 0.0 提升到約 0.63 的峯值。獎勵的提升分為兩個階段：第一階段專注於提高過程可靠性（驗證通過率），第二階段開始產生更好的模型。智能體學會了選擇更好的基礎模型（從偏好 0.6B 轉向 1.7B）和調整超參數。

項目使用了六個任務族進行訓練，其中一個完全保留用於測試泛化能力。結果顯示，智能體在未見過的任務族上也表現出了性能提升，從基線的 0.399 獎勵提高到約 0.545。

基礎設施方面，使用 Runpod 的温池 GPU（最多 16 個節點），根據基準測試選擇性價比最高的 GPU（通常為 A40 或 RTX 4090）。外層循環使用 Tinker 的託管 RL API，配備異步離策略機制以減少延遲。整個協調運行在 CPU 機器上。

成本方面，整個主要階段總支出約 950 英鎊（約 1,275 美元），包括 Runpod 的 GPU 成本和 Tinker 的 API 費用。每個訓練作業約 0.13 至 0.30 美元，每個外層循環批次約 15 至 23 美元。

智能體的權重已在 Hugging Face 上開源（Danau5tin/ai-trains-ai-trainer），代碼庫包含復現和擴展的詳細指南。