Prime Intellect 发布 Verifiers v1:用于智能体强化学习训练和评估的可组合任务集、框架和运行时
Prime Intellect 发布了 verifiers 0.2.0,预览了重写的 v1 核心。v1 将环境分解为任务集(做什么)、框架(怎么做)和运行时(在哪里),并通过拦截服务器记录训练轨迹。任何任务集均可与任何兼容框架配合使用,并直接支持 prime-rl 训练。
Prime Intellect 近日发布了 verifiers 0.2.0,其中预览了重写的核心,该核心以新的 verifiers.v1 命名空间提供。现代评估通常使用带工具、压缩和子代理的编码代理,因此 v1 重新构建了环境,以大规模运行这些智能体工作负载。
verifiers 是 Prime Intellect 用于智能体强化学习(RL)和评估的环境栈。在之前版本中,环境将数据、代理逻辑和基础设施捆绑在一起。而 v1 则将其拆分为三个可组合的部分:任务集定义工作内容(数据、工具和评分),框架解决任务并生成 rollout(例如 ReAct 循环、CLI 代理等),rollout 则在运行时(本地或沙箱)中执行。由于各部分解耦,任何任务集都可以在任何兼容的框架下运行。
各组件之间的通信依赖于 verifiers 管理的拦截服务器。该服务器位于代理的运行时和推理服务器之间,代理请求和响应,同时记录轨迹、设置采样参数,并可重写工具响应,这有助于在训练期间缓解奖励黑客攻击。为了扩展,每个服务器多路复用固定数量的 rollout(默认为 32),然后池根据观察到的并发性弹性扩展。服务器还拥有一个客户端来中继这些请求:评估期间 EvalClient 作为盲 HTTP 代理,训练期间 TrainClient 封装渲染器以实现真实的 token 级 RL 训练。
由于框架使用不同的协议,verifiers 当前支持三种:OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages。方言适配器将每种格式标准化为规范的 vf.types,因此评分逻辑与被测试的代理无关。
相比 v0,v1 环境模型将数据、逻辑和基础设施分开;轨迹增长从每轮二次方变为线性;支持非线性 rollout 和子代理;运行时管理由框架自动处理;框架与解耦;训练数据直接从轨迹消费。
实际使用中,团队可以运行 Nemotron 3 Ultra 在 Terminal-Bench 2 上配合 Codex 框架。同样,Harbor 数据集无需重写奖励逻辑即可重用。Prime Intellect 仅用一个小类就将 Terminal Bench 2 移植到 v1,内部测试中 verifiers 在相同任务上与 Harbor 性能匹配。Harbor 是第一个完全支持的第三方格式,NeMo Gym 和 OpenEnv 为 alpha 支持。
训练方面,同一环境可直接接入 prime-rl。在一次长度惩罚消融实验中,GLM-4.5-Air 在六个 H200 节点上使用 ScaleSWE 训练两小时,并在 SWE-Bench-Verified 上评估,展示了稳定的智能体训练。
每个运行从定义数据和评分的任务集开始,与框架无关。例如,可以定义一个加法任务集。任何任务集通过 TOML 和 CLI 在选定框架下运行。
核心要点:v1 将环境分为任务集、框架和运行时;拦截服务器代理请求并记录轨迹;线性消息图轨迹支持长程训练;完整支持 prime-rl 训练;Harbor 数据集和常用框架开箱即用。