大型語言模型（LLM）的訓練效果從根本上受限於訓練數據的質量與組成。現有的動態數據調度方法在工業規模的預訓練和監督微調（SFT）中面臨關鍵瓶頸：數據選擇在TB級語料上產生昂貴的O(N)開銷；混合優化方案引入嚴重的I/O瓶頸或需要訓練輔助參考模型；樣本級重加權策略依賴於混合了噪聲、難度和新穎性的損失信號。
針對這些問題，研究者提出了DomainPilot，一個領域級損失引導的兩階段數據混合優化框架。DomainPilot引入了令牌級領域損失監控，能夠在不中斷數據流水線的情況下捕獲訓練過程中每個領域的學習動態。基於這些信號，首先通過Scaling Law引導的粗優化階段擬合領域特定的收斂曲線，得出混合調整的原則性先驗；隨後進入Mixing Law引導的細優化階段，通過受控掃描實驗建模跨領域交互效應，進一步優化混合比例。整個機制通過基於補丁的架構實現，僅需約30行框架特定的適配器代碼即可注入到現有訓練框架（如MindSpeed/Megatron-LM）中。
研究者以Qwen3-1.7B模型在SFT階段驗證了DomainPilot的有效性。與原始數據混合相比，優化後的混合在MMLU-Redux上提升+2%，在AIME24上提升+1.8%，在LiveCodeBench v5上提升+3.8%，在BFCL v3上提升+3.6%，且未增加總數據量或訓練成本。這些結果表明，領域級訓練信號為混合優化提供了一種高效、輕量的替代方案，避免了昂貴的數據選擇或輔助模型訓練。DomainPilot的代碼已基於arXiv:2607.22769發佈。
該框架的關鍵創新在於其兩階段優化策略：第一階段利用Scaling Law預測各領域隨數據量增加的學習收斂行為，從而確定一個合理的初始混合比例；第二階段則通過Mixing Law捕捉領域間的相互影響，例如數學代碼領域的數據可能對推理能力產生協同效應。這種分而治之的方法使得優化過程既有效率又有理論依據。實驗結果表明，即使在1.7B參數的模型中，領域級信號也能帶來顯著收益，暗示在更大模型上可能獲得更大幅度的提升。