训练数据的整理是现代 AI 开发中最关键、也最耗费人力的环节之一。实践者需要反复提出数据策略、实现策略、在嘈杂的基准反馈下评估效果,然后再修改策略,如此循环往复。来自 arXiv 的一篇新论文(arXiv:2606.04261,2026 年 6 月 2 日提交,第一作者为 Feiyang Kang,共八位作者)提出了一个直接的问题:通用编码智能体能否把这一数据整理循环自动化。
为回答这个问题,作者构建了 Curation-Bench,这是一个以智能体为中心的基准。它的设计思路是控制变量:模型、训练配方和评测套件全部固定,智能体只能通过命令行访问数据、检查数据、实现数据策略,把策略提交给固定的训练与评测流水线,然后根据结果进行修改。这样,评测衡量的就不是模型本身的能力差异,而是智能体能否像一个数据研究者那样迭代改进数据策略。论文在视觉-语言指令微调这一场景中实例化了该基准。
实验给出了一个颇为积极但也带有警示的结论。开箱即用的通用智能体在十轮迭代之内,就能达到已发表的强数据选择基线水平,说明它们确实能够跑通整个整理循环。然而,对智能体轨迹的分析揭示出一个持续存在的“执行—研究差距”:智能体主要是在调整局部的策略变体,而不是去探索新的策略家族。即便研究人员提供了策略指南和论文参考,这一倾向依然存在。换句话说,智能体更像是在已有框架内做参数微调,而不是提出新的方法思路。
作者进一步测试了能否通过脚手架来缓解这一问题。他们设计了一种约束:每一轮迭代都必须引用、实例化并改编一种先前的方法。结果显示,这种脚手架明显把智能体推向了以方法为导向的探索。更值得注意的是,在没有任何人类设计输入的情况下,被脚手架约束的智能体自主组合出一种数据选择策略,在仅使用十分之一数据预算的条件下,性能超过了已发表的强基线。
论文的整体结论是:当前的智能体已经能够执行数据整理循环,但要做到可靠的数据研究,需要脚手架化的方法适配,而不是仅依赖开放式提示。作者已将代码与基准开源。该工作属于 cs.AI,同时涉及计算与语言、计算机视觉、新兴技术和机器学习等方向,为“智能体能否承担 AI 研发中的研究性工作”这一问题提供了一个可复现的评测框架。