展示 HN：我训练了一个使用强化学习来训练模型的智能体（花费 –1.3k 美元）

一位开发者展示了一个名为“AI 训练 AI”的项目，其中智能体通过强化学习学习如何编写训练作业来训练其他模型。该项目涉及两个嵌套的强化学习循环：外层循环训练智能体，内层循环训练小型语言模型。

外层循环中，智能体（基于 Qwen3.6-35B-A3B，LoRA 微调）被赋予一个训练任务描述，例如“教一个小模型解析多跳角色查询”。智能体在沙盒工作区中通过读写文件来生成完整的训练作业，包括环境、奖励函数、数据集和超参数。然后通过 submit_job 提交作业，验证通过后，作业被分配到 Runpod GPU 集群上执行实际训练。内层循环使用 prime-rl 框架对小型基础模型（如 Qwen3-0.6B 或 1.7B）进行 GRPO 训练，并评估训练前后的性能。

奖励设计结合了验证效率（首次成功提交得 1.0）、任务质量（训练后模型得分与最佳基线相比的提升）和训练速度。在 54 个训练步骤中（分三个子运行：pilot-7、7b、7c），总奖励从约 0.0 提升到约 0.63 的峰值。奖励的提升分为两个阶段：第一阶段专注于提高过程可靠性（验证通过率），第二阶段开始产生更好的模型。智能体学会了选择更好的基础模型（从偏好 0.6B 转向 1.7B）和调整超参数。

项目使用了六个任务族进行训练，其中一个完全保留用于测试泛化能力。结果显示，智能体在未见过的任务族上也表现出了性能提升，从基线的 0.399 奖励提高到约 0.545。

基础设施方面，使用 Runpod 的温池 GPU（最多 16 个节点），根据基准测试选择性价比最高的 GPU（通常为 A40 或 RTX 4090）。外层循环使用 Tinker 的托管 RL API，配备异步离策略机制以减少延迟。整个协调运行在 CPU 机器上。

成本方面，整个主要阶段总支出约 950 英镑（约 1,275 美元），包括 Runpod 的 GPU 成本和 Tinker 的 API 费用。每个训练作业约 0.13 至 0.30 美元，每个外层循环批次约 15 至 23 美元。

智能体的权重已在 Hugging Face 上开源（Danau5tin/ai-trains-ai-trainer），代码库包含复现和扩展的详细指南。