ループエンジニアリングガイド：「自動研究」と「二段階自動研究」がAIエージェントを自律型機械学習研究ループに変える方法

ほとんどの人は今でも2015年の検索ボックスのようにAIを使っています。入力し、読み、再び入力する。新しいパターンは、その手動の往復をループに置き換えます。このガイドでは、2つの検証済み成果物を用いてループエンジニアリングを説明します。出典はアンドレイ・カーパシーのautoresearchリポジトリとBilevel Autoresearch論文です。フレームワークは@0xCodilaの記事に従っています。

ループエンジニアリングとは？ まず、2つのモードを比較します。プロンプトは1つの指示であり、その後あなたが次のステップを決めます。ループは、モデルが到達するまで追求する目標です。モデルは計画し、行動し、自分の結果を確認し、繰り返します。目標を一度定義すれば、ループが反復を処理します。重要なのは、作業が測定可能な場合にのみループがコストに見合うということです。

ループを機能させる3つの部分 信頼できるループには3つの構成要素があります。検証器は各試行を評価します。チェックはテスト合格、変動するメトリクス、またはビルドです。検証器がなければ、エージェントは同じことを繰り返すだけです。状態は試行済み、失敗、残りを記録します。小さなサイドファイルにより、次の実行が再開ではなく継続できます。停止条件はコストの暴走を防ぎます。目標達成またはN回の試行後にループは停止します。

カーパシーループ：autoresearch内部 これらの3つの部分は理論上のものではありません。2026年3月7日、カーパシーはMITライセンスの下でautoresearchをオープンソースとして公開しました。3つのコアファイルと約630行のコードで構成されています。プロジェクトは数日でバイラルになり、現在約9万のGitHubスターを獲得しています。後に「カーパシーループ」パターンとして知られるようになりました。

設計は意図的に小さいながらも厳格です。エージェントはtrain.pyのみを編集できます。これにはGPTモデル、オプティマイザ（MuonとAdamW）、トレーニングループが含まれます。prepare.pyの評価ユーティリティには触れられません。この分離により、エージェントがモデルを改善する代わりにテストを簡単にすることを防ぎます。一方、人間はprogram.md（エージェントが従うべき指示）を書きます。

各サイクルは1つの実験を実行します。エージェントはコードを読み、変更を提案し、5分間トレーニングし、保持するかロールバックします。スコアリングメトリクスはval_bpb（検証ビット/バイト、低いほど良い）です。この予算で1時間あたり約12実験、つまり一晩で約100回実行できます。

報告された結果は具体的です。カーパシーは既に最適化済みのnanochat GPT-2トレーニングコードに適用しました。2日間実行し、約700実験を完了、20の真の改善を保持しました。積み重ねることで、GPT-2品質のトレーニング時間が11%短縮され、2.02時間から1.80時間になりました。1つの発見は、QK-Norm実装にスカラー乗数が欠けており、アテンションがヘッド間で拡散しすぎていたことです。

特筆すべきは、人間は約12実験で疲れるのに対し、ループは疲れないことです。別途、Shopify CEOのTobi Lütkeが内部モデルでautoresearchを一晩実行し、37実験後19%の改善を報告しました。カーパシーの見解：客観的なメトリクスがあるなら、あなたがボトルネックです。

プロンプト vs ループ vs 二段階ループ 違いは明確です。ワンショットプロンプト：各ステップを定義、あなたが反復、検証器はあなた。カーパシーループ：目標を一度定義、内部エージェントが反復、検証器はprepare.py（val_bpb）。二段階自動研究：目標を一度定義、内部＋外部エージェントが反復、検証器は同じメトリクスで2レベル。人間の役割はエンジンからprogram.mdの作成者へ。

5つの構成要素 AIエンジニアリングチームは現在、5つの再利用可能な部品から作業ループを組み立てています。自動化：スケジュールやイベントでループを起動。スキル：プロジェクト知識をマークダウンファイルに保存、毎回実行時に読み込み。サブエージェント：ライターとレビューアを分離（1つのモデルは自分を甘く評価するため）。コネクタ：ループが実際のツール（IssueトラッカーやSlack）内で動作可能に。最後に検証器：悪い作業を拒否するゲート。Claude CodeとCodexは現在これら5つすべてを搭載。

二段階自動研究：ループの上のループ 次に研究者はより鋭い問いを立てました。autoresearchが研究なら、autoresearchをautoresearchできるか？研究論文「Bilevel Autoresearch: Meta-Autoresearching Itself」はYesと答えます。

内部ループはカーパシーオリジナルと同じ：提案、トレーニング、評価、保持または破棄。外部ループは内部ループを監視し、そのコードとトレースを読み取ります。検索自体が停滞する場所を特定し、新しいPythonメカニズムを書き、実行時に注入し、内部ループを再実行します。

結果はカーパシーのGPT事前学習ベンチマークで有効でした。外部ループはval_bpbをシングルループより5倍大きく減少（-0.045対-0.009）。両方とも同じLLMを使用したため、ゲインはよりスマートなモデルではなくアーキテクチャから来ています。実践的には設計は3レベルに分かれます。レベル1：ベースループを実行。レベル1.5：5イテレーションごとに検索パラメータを調整。レベル2：4ラウンドのセッションでメカニズムを生成。報告された実験ではRTX 5090 32GBと300秒の予算を使用しました。

理由は注目に値します。内部ループは、機能しなくなった後でも同じ事前分布に戻り続けました。外部ループは、不慣れな探索を強制することでこれらのパターンを打ち破りました。

ユースケースの例 これらのアイデアは事前学習を超えて応用可能です。モデル作業：ループがval_bpbが下がるまでハイパーパラメータを探索。ソフトウェア：テスト、型、ビルドが通るまでリファクタリング。コンテンツ：すべてのルーブリックスコアがしきい値を超えるまで書き直し。データ：スキーマチェックが通るまでパイプラインを調整。各ケースに共通するのは、作業を不合格にできる自動ゲートです。

自分で試す：1プロンプトのループ 理論はさておき、Claude CodeやCodexなしで仕組みを体験できます。以下の内容を能力のあるモデルに貼り付け、自己修正を観察してください。タスク、成功基準、ループプロトコル（計画、実行、検証、決定）、ルールを提供します。

内部では、制御フローは小さいです。以下のスケルトンはPythonでの3つの部分（検証器、決定、2つの停止条件）を示しています。

両バージョンには制限があります。あなたがまだトリガーであり、タブを閉じると状態が消去されます。自動化、状態ファイル、実際のゲートを追加することで自律ループに変わります。

主要なポイント ループには3つの部分が必要：検証器、永続状態、停止条件。autoresearchではエージェントはtrain.pyのみ編集し、評価器は編集不可。カーパシーの一晩の実行で700実験から20の修正を保持、11%の高速化。二段階自動研究は5倍のval_bpb改善をもたらす。ループは作業を設計とレビューにシフトするが、思考を取り除くわけではない。