研究團隊近日完成了一項分散式強化學習後訓練的新突破：使用分佈在四個國家的14臺Mac電腦（包括一臺個人MacBook）作為rollout生成節點，而訓練則在一臺遠端的NVIDIA B200 GPU上進行。該配置在PaperSearchQA任務上將held-out pass@1從29%提升至63%，據稱是首次完全利用消費級Mac進行RL後訓練的rollout生成。
系統採用星型拓撲結構，所有節點透過Cloudflare R2物件儲存通訊。Mac節點將生成的rollout上傳至儲存桶，訓練器獲取後訓練併發布新權重。整個過程完全非同步，避免了網路延遲導致的空閒。權重同步使用團隊自研的PULSE技術，利用int8與bf16精度的差異，只傳輸int8值發生變化的權重，將9GB的下載量壓縮至約90MB，在普通家庭網路下僅需7秒即可完成。
Mac之所以成為理想選擇，是因為後訓練中大部分計算是推理，而Mac的統一記憶體架構能容納大模型及KV快取，且成本效益優於消費級NVIDIA顯示卡，尤其適合MoE架構。團隊使用了14臺不同代際的Mac，執行int8精度下的MLX框架，訓練端則使用bf16精度的Megatron框架。
為應對非同步帶來的策略外差異，團隊採用了定製的Metal paged-attention核心和DPPO的token門控機制，保持訓練穩定。最終pass@1翻倍至63%，整個棧已開源。