跨越4国14台Mac的强化学习后训练
一个研究团队成功利用分布在四个国家的14台Mac电脑（包括一台个人MacBook）进行强化学习后训练，在PaperSearchQA任务上将pass@1从29%提升至63%。该系统通过PULSE权重同步技术实现90MB的增量更新，并采用异步星型拓扑结构，所有通信基于对象存储，无需专用网络。这是首次完全使用消费级Mac进行rollout生成的RL后训练。
研究团队近日完成了一项分布式强化学习后训练的新突破：使用分布在四个国家的14台Mac电脑（包括一台个人MacBook）作为rollout生成节点，而训练则在一台远程的NVIDIA B200 GPU上进行。该配置在PaperSearchQA任务上将held-out pass@1从29%提升至63%，据称是首次完全利用消费级Mac进行RL后训练的rollout生成。
系统采用星型拓扑结构，所有节点通过Cloudflare R2对象存储通信。Mac节点将生成的rollout上传至存储桶，训练器获取后训练并发布新权重。整个过程完全异步，避免了网络延迟导致的空闲。权重同步使用团队自研的PULSE技术，利用int8与bf16精度的差异，只传输int8值发生变化的权重，将9GB的下载量压缩至约90MB，在普通家庭网络下仅需7秒即可完成。
Mac之所以成为理想选择，是因为后训练中大部分计算是推理，而Mac的统一内存架构能容纳大模型及KV缓存，且成本效益优于消费级NVIDIA显卡，尤其适合MoE架构。团队使用了14台不同代际的Mac，运行int8精度下的MLX框架，训练端则使用bf16精度的Megatron框架。
为应对异步带来的策略外差异，团队采用了定制的Metal paged-attention内核和DPPO的token门控机制，保持训练稳定。最终pass@1翻倍至63%，整个栈已开源。