Prime Intellect、1兆パラメータのMoEモデルをエージェント型RLワークロードで訓練するためのprime-rl 0.6.0をリリース
Prime Intellectは、1兆パラメータのMixture-of-Experts（MoE）モデル向けの非同期強化学習のためのオープンフレームワークprime-rl 0.6.0をリリースしました。このフレームワークは、SWEタスクにおいて最大131kのシーケンス長、5分未満のステップ時間、256回のロールアウトでGLM-5を訓練し、28台のH200ノードを使用しました。本記事では、FP8推論、Wide Expert Parallelism、プリフィル/デコード分離、ルーターリプレイ、3次元並列（FSDP、EP、CP）などの最適化について詳しく説明します。
Prime Intellect、1兆パラメータのMoEモデルをエージェント型RLワークロードで訓練するためのprime-rl 0.6.0をリリース
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。