跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

通用智能体能否自动化数据整理?

文章摘要

一篇新论文提出 Curation-Bench,评估通用编码智能体能否自动完成训练数据的整理循环。开箱即用的智能体在十轮迭代内可达到已发表的数据选择基线,但往往只在局部策略变体上微调,而非探索新的策略家族;引入要求每轮引用并改编已有方法的脚手架后,智能体可自主组合出在仅有十分之一数据预算下超越强基线的选择策略。

来源arXiv AI作者: Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia
通用智能体能否自动化数据整理?
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

训练数据的整理是现代 AI 开发中最关键、也最耗费人力的环节之一。实践者需要反复提出数据策略、实现策略、在嘈杂的基准反馈下评估效果,然后再修改策略,如此循环往复。来自 arXiv 的一篇新论文(arXiv:2606.04261,2026 年 6 月 2 日提交,第一作者为 Feiyang Kang,共八位作者)提出了一个直接的问题:通用编码智能体能否把这一数据整理循环自动化。

为回答这个问题,作者构建了 Curation-Bench,这是一个以智能体为中心的基准。它的设计思路是控制变量:模型、训练配方和评测套件全部固定,智能体只能通过命令行访问数据、检查数据、实现数据策略,把策略提交给固定的训练与评测流水线,然后根据结果进行修改。这样,评测衡量的就不是模型本身的能力差异,而是智能体能否像一个数据研究者那样迭代改进数据策略。论文在视觉-语言指令微调这一场景中实例化了该基准。

实验给出了一个颇为积极但也带有警示的结论。开箱即用的通用智能体在十轮迭代之内,就能达到已发表的强数据选择基线水平,说明它们确实能够跑通整个整理循环。然而,对智能体轨迹的分析揭示出一个持续存在的“执行—研究差距”:智能体主要是在调整局部的策略变体,而不是去探索新的策略家族。即便研究人员提供了策略指南和论文参考,这一倾向依然存在。换句话说,智能体更像是在已有框架内做参数微调,而不是提出新的方法思路。

作者进一步测试了能否通过脚手架来缓解这一问题。他们设计了一种约束:每一轮迭代都必须引用、实例化并改编一种先前的方法。结果显示,这种脚手架明显把智能体推向了以方法为导向的探索。更值得注意的是,在没有任何人类设计输入的情况下,被脚手架约束的智能体自主组合出一种数据选择策略,在仅使用十分之一数据预算的条件下,性能超过了已发表的强基线。

论文的整体结论是:当前的智能体已经能够执行数据整理循环,但要做到可靠的数据研究,需要脚手架化的方法适配,而不是仅依赖开放式提示。作者已将代码与基准开源。该工作属于 cs.AI,同时涉及计算与语言、计算机视觉、新兴技术和机器学习等方向,为“智能体能否承担 AI 研发中的研究性工作”这一问题提供了一个可复现的评测框架。

展开要点与分析

文章情报

工程师进阶

要点

  • 研究提出 Curation-Bench,固定模型、训练配方与评测套件,仅让智能体通过命令行检查数据、实现策略、提交训练评测并迭代修改。
  • 开箱即用智能体十轮内可达到强数据选择基线,但存在执行与研究的差距,倾向局部调参而非探索新策略家族。
  • 加入要求每轮引用、实例化并改编已有方法的脚手架后,智能体自主设计出在十分之一数据预算下超越强基线的策略。
  • 结论是当前智能体能跑通整理循环,但可靠的数据研究仍需脚手架化方法迁移,而非仅靠开放式提示。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

通用智能体能否自动化数据整理? | AI News Hub