研究團隊近日完成了一項分佈式強化學習後訓練的新突破：使用分佈在四個國家的14台Mac電腦（包括一台個人MacBook）作為rollout生成節點，而訓練則在一台遠程的NVIDIA B200 GPU上進行。該配置在PaperSearchQA任務上將held-out pass@1從29%提升至63%，據稱是首次完全利用消費級Mac進行RL後訓練的rollout生成。
系統採用星型拓撲結構，所有節點通過Cloudflare R2對象存儲通信。Mac節點將生成的rollout上傳至存儲桶，訓練器獲取後訓練併發布新權重。整個過程完全異步，避免了網絡延遲導致的空閒。權重同步使用團隊自研的PULSE技術，利用int8與bf16精度的差異，只傳輸int8值發生變化的權重，將9GB的下載量壓縮至約90MB，在普通家庭網絡下僅需7秒即可完成。
Mac之所以成為理想選擇，是因為後訓練中大部分計算是推理，而Mac的統一內存架構能容納大模型及KV緩存，且成本效益優於消費級NVIDIA顯卡，尤其適合MoE架構。團隊使用了14台不同代際的Mac，運行int8精度下的MLX框架，訓練端則使用bf16精度的Megatron框架。
為應對異步帶來的策略外差異，團隊採用了定製的Metal paged-attention內核和DPPO的token門控機制，保持訓練穩定。最終pass@1翻倍至63%，整個棧已開源。