Abundant是一家为前沿人工智能实验室构建强化学习(RL)环境的公司,其客户包括OpenAI、Anthropic、Google和Meta。这些实验室利用Abundant设计的困难任务来训练和评估模型:让模型尝试完成任务,并以通过或失败来评分,从而提升智能体的能力。
每个任务都是一个完整的RL rollout,需要一整套环境。模型不仅需要指令、明确的目标和验证器来判断任务是否完成,还需要基础设施支持:运行所需的计算资源、Dockerfile以及隔离环境。根据任务的不同,智能体甚至可能需要GPU等加速器。
Abundant已经创建了超过75,000个rollout,涵盖从GPU内核优化到长周期编码等各种任务,每个rollout都在一个Modal Sandbox中运行。Modal使他们的rollout基础设施易于构建且运行成本高效,让Abundant团队能够专注于核心业务。
目前,Abundant的rollout平台几乎全部运行在Modal上。Modal Functions为Abundant的调度API提供支持,用于启动任务、清理死运行和审查rollout。Modal Sandboxes则提供rollout环境,确保每个任务在隔离且资源充足的环境中执行。这种架构使Abundant能够高效地扩展其RL环境构建业务,满足前沿实验室对高质量训练数据的需求。