Show HN：強化学習でモデルを訓練するエージェントを強化学習で訓練しました（費用 –1.3kドル）
開発者は、AIエージェントが訓練ジョブを作成して小規模モデルを訓練し、そのエージェント自体を強化学習で訓練するパイプラインを構築しました。報酬は54ステップで約0.0から約0.63に上昇し、未見のタスクファミリーへの転移も確認されました。総費用は約1,275ドルです。
ある開発者が「AIがAIを訓練する」プロジェクトを公開しました。このシステムでは、強化学習エージェントが他のモデルを訓練するためのジョブを作成し、そのエージェント自体も強化学習で訓練されます。2つのネストされたRLループで構成されており、外側のループがエージェントを訓練し、内側のループが小規模言語モデルを訓練します。
外側のループでは、Qwen3.6-35B-A3BをベースにLoRAで微調整されたエージェントが、タスクの説明（例：「小規模モデルにマルチホップペルソナクエリを解決する方法を教える」）を受け取ります。エージェントはサンドボックスワークスペース内でファイル操作を行い、環境、報酬関数、データセット、ハイパーパラメータを含む完全な訓練ジョブを生成します。その後、submit_jobで検証を経て、Runpod GPUクラスタで実際の訓練が実行されます。内側のループでは、prime-rlフレームワークを使用してQwen3-0.6Bや1.7Bなどの小規模モデルをGRPOで訓練し、訓練前後の性能を評価します。
報酬は、検証効率（初回成功で1.0）、ジョブ品質（訓練後のモデルスコアと最良ベースラインとの差）、訓練速度の重み付き和で設計されています。54の訓練ステップ（pilot-7、7b、7cの3つのサブ実行）で、総報酬は約0.0から最大約0.63まで上昇しました。上昇は2段階で発生し、最初はプロセスの信頼性向上、次にモデル品質の改善に焦点が当てられました。エージェントはより良いベースモデル（0.6Bから1.7B）を選択し、ハイパーパラメータを調整することを学習しました。
6つのタスクファミリー（うち1つは汎化テスト用に保持）で訓練され、未見のタスクファミリーでも報酬が0.399から0.545に向上しました。インフラストラクチャにはRunpodの温プールGPU（最大16ノード）を使用し、TinkerのマネージドRL APIで非同期オフポリシー機構を採用しています。総費用は約950ポンド（約1,275ドル）で、Runpod GPU費用とTinker API費用が含まれます。エージェントの重みはHugging Faceで公開され、Apache-2.0ライセンスで利用可能です。