訓練データのキュレーションは、現代のAI開発において最も重要でありながら最も人手を要する工程の一つである。実務者はデータ方針を提案し、実装し、ノイズの多いベンチマークのフィードバックに対して評価し、さらに修正するという反復を繰り返す。arXivに2026年6月2日に投稿された論文（arXiv:2606.04261、Feiyang Kang氏を筆頭とする8名の共著）は、汎用コーディングエージェントがこのキュレーションループを自動化できるのかという問いを正面から扱っている。
著者らはそのためにCuration-Benchを構築した。これはエージェント中心のベンチマークであり、モデル、学習レシピ、評価スイートをすべて固定したうえで、エージェントにはコマンドライン経由でデータを調査し、データ方針を実装し、固定された学習・評価パイプラインに提出し、結果に応じて修正する権限を与える。これにより、評価されるのはモデル間の能力差ではなく、エージェントがデータ研究者のように方針を反復改善できるかどうかになる。論文では視覚言語の指示チューニングを対象にこのベンチマークを具体化している。
実験結果は前向きであると同時に警告的でもある。既製の汎用エージェントは10回の反復以内に、公開済みの強いデータ選択ベースラインと同等の水準に到達した。つまりループ自体は実行できる。しかしエージェントの軌跡を分析すると、「実行と研究のギャップ」と呼ぶべき持続的な傾向が明らかになった。エージェントは主に局所的な方針の変種を調整するのであり、新しい方針群の探索には向かわない。戦略ガイドや論文の参照を与えてもこの傾向は変わらなかった。
そこで著者らは足場（スキャフォールド）によってこれを緩和できるかを検証した。各反復で先行手法を引用し、実装し、適応することを義務づける足場を導入すると、エージェントは手法主導の探索へと明確に移行した。さらに注目すべきは、人間の設計入力なしに、足場を与えられたエージェントがデータ選択方針を自律的に構成し、わずか10分の1のデータ予算で公開済みの強いベースラインを上回る性能を示した点である。
論文全体の結論は明快だ。現在のエージェントはキュレーションループを実行できるが、信頼できるデータ研究には開放型のプロンプトだけではなく、足場付きの手法適応が必要である。コードとベンチマークはオープンソース化されている。本研究はcs.AIに属し、計算と言語、コンピュータビジョン、新興技術、機械学習にもまたがる内容で、AI研究開発における研究作業をエージェントが担えるかという問いに再現可能な評価基盤を与えている。