Nebius 將 rollout 收集時間縮短 66.9%——關鍵變化何在

要點

• Nebius 在 Terminal-Bench 實驗中，通過路由、沙箱執行和批次組裝優化，將 256 軌跡批次的收集時間降低 66.9%。
• 工程師應測量“到可訓練批次的時間”而非僅關注吞吐量，因為同步批次中長尾軌跡會阻塞訓練 GPU。
• 策略滯後並不可怕，但需測量和管理，可通過重要性採樣校正、丟棄過時樣本和跟蹤策略分歧來處理。
• 構建環境是新的數據管理，需確保可復現性、可靠的驗證器以及任務難度的動態調整。