跳到主要内容
AI News HubLIVE
更多
仅摘要

Prime Intellect 发布 prime-rl 0.6.0，用于训练万亿参数 MoE 模型的智能体强化学习任务

Prime Intellect 发布了 prime-rl 0.6.0，这是一个用于万亿参数混合专家（MoE）模型异步强化学习的开源框架。该框架在 SWE 任务上训练了 GLM-5，序列长度高达 131k，步时低于 5 分钟，使用 256 次 rollout 和 28 个 H200 节点。本文详细介绍了其推理和训练优化，包括 FP8 推理、宽专家并行、预填充/解码分离、路由器重放以及 3D 并行（FSDP、EP、CP）。

来源MarkTechPost作者: Asif Razzaq
Prime Intellect 发布 prime-rl 0.6.0，用于训练万亿参数 MoE 模型的智能体强化学习任务
报告错误

纠错通道尚未开通，可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • prime-rl 0.6.0 支持万亿参数 MoE 模型的异步强化学习，适用于长周期智能体任务。
  • GLM-5 在 SWE 任务上以 131k 序列长度、亚 5 分钟步时和 28 个 H200 节点完成训练。
  • 推理优化包括 FP8、宽 EP、P/D 分离、KV 卸载和路由器重放，训练采用 3D 并行（FSDP、EP、CP）和块缩放 FP8。
  • 异步 RL 将训练器和推理解耦，减少 GPU 空闲时间，提高吞吐量。

要点与分析由自动化流程生成，可能有误，请结合原始来源核实。