AI News HubLIVE
站内改写2 分钟阅读

CUBE:一次封装基准,人人可用智能体AI

CUBE(通用统一基准环境)是一种用于智能体基准测试的最小接口标准,旨在解决当前基准测试碎片化和集成成本高的问题。通过一次封装,即可在任何兼容平台上用于评估、强化学习训练或数据生成。项目已有近30位合著者,并得到AI Alliance的支持。

来源Hacker News AI作者: AI_Alliance

人工智能领域正迎来智能体(Agent)的实用化浪潮。能够编写代码的智能体和实际应用部署,终于将多年的炒作转化为从业者可以实际使用的工具。社区现在有了真正可以工作的东西。但在这一切势头之下,隐藏着一个更安静的问题:我们坐拥评估和训练数据的金矿,但其中大部分被工程之墙锁住。

目前已有307个智能体基准测试。到2026年底,预测将达到500到700个。每个基准都是评估信号和后训练数据的潜在来源——这种信号难以伪造,从头生成成本高昂,且经过验证、有基础且结构化。然而,问题在于可及性。在基准仓库与评估或训练流水线之间,横亘着一道定制集成工作的墙。N个基准乘以M个平台等于N乘以M个连接器。想要在评估基础设施上运行OSWorld?需要有人编写集成代码。想让同一个基准也用于强化学习训练循环?又需要有人再编写一次。大部分这类工程工作落在了本应做更重要事情的研究人员肩上。

标准化窗口就在现在。基准生态系统今天虽然碎片化,但情况尚可挽救。在307个基准时,社区仍能共同行动。到700个时,多年不兼容的工具已投入生产,改造将变得极其昂贵。标准如果在碎片化锁定之前到位,就能成功。HTTP在所有Web服务器拥有自己的有线协议之前就已出现。CUBE正是为智能体基准设计同样的路径,而GTC 2025的强烈信号表明社区已为此做好准备。

CUBE(Common Unified Benchmark Environments,通用统一基准环境)是一个用于智能体基准的最小接口标准。将基准封装一次,符合CUBE协议后,就能在任何CUBE兼容平台上运行,用于评估、强化学习训练或数据生成,无论基础设施如何。关键洞察是将基准的需求与资源的调配分离开来。基准声明其需求:容器、虚拟机、特定端口、快照。平台负责调度。无论是笔记本电脑、AWS集群还是HPC系统,都不再是基准需要考虑的问题。CUBE定义了四个接口层级:任务(Task)是核心的智能体-环境交互循环;基准(Benchmark)是共享生命周期管理的任务集合;包(Package)是任务间共享的资源,比如WebArena服务器;注册表(Registry)用于基准发现和筛选。这不是一个平台,而是底层协议,类似于HTTP之于基准。像NeMo Gym、AgentBeats、Harbor和OpenEnv这样的平台在功能上竞争,而基准保持可移植性。

该项目在AI Alliance的GitHub上以Apache许可开源,包括[CUBE标准](https://github.com/The-AI-Alliance/cube-standard)和[cube-harness](https://github.com/The-AI-Alliance/cube-harness)。立场论文已在arXiv发布。代码现已可用,已有十个CUBE兼容基准完成封装,涵盖软件工程、网页导航和计算机使用领域。与主流训练和评估框架的集成正在积极开发中。该项目已吸引来自Mila、McGill、IBM Research、伯克利、CMU、俄亥俄州立大学、HKU等机构的近30位合著者,并得到Graham Neubig、Siva Reddy、Dawn Song、Tao Yu、Yu Su等专家的咨询支持。这种广度并非偶然——AI Alliance的存在正是为了汇聚各组织的研究人员、工程师和领域专家来解决此类问题。CUBE正是这一使命的实践,是一个由跨机构协作构建的社区标准。

CUBE提前发布,正是因为标准在固化之前由社区塑造才最有用。如果你维护基准、构建评估基础设施或运行大规模RL训练,你的反馈将决定CUBE的未来。最简单的参与方式是[填写此短表格](https://forms.gle/DGxvw7ixY1wMB53Q9)注册你的基准,无需任何承诺。如果你想更进一步,最快的技术路径是:运行cube init my-bench从内置模板搭建,然后cube test my-bench运行合规套件。想深度参与标准制定?核心团队正在接受希望影响路线图并为此获得认可的研究人员和工程师的申请。

资源:

  • CUBE标准:https://github.com/The-AI-Alliance/cube-standard
  • CUBE harness:https://github.com/The-AI-Alliance/cube-harness
  • 立场论文:https://arxiv.org/abs/2603.15798

标准首席架构师:Alexandre Lacoste(ServiceNow AI Research) 实现首席工程师:Nicolas Gontier(ServiceNow AI Research) 主要机构:ServiceNow Research、Silverstream.ai、NVIDIA 咨询意见来自:Graham Neubig、Siva Reddy、Dawn Song、Tao Yu、Yu Su