在大型語言模型（LLM）的多領域微調中，一個核心挑戰是如何在提升目標領域（如特定任務或領域知識）效能的同時，保持模型在約束領域（如通用知識、指令遵循或安全性評估）上的能力。現有的資料混合策略通常依賴於固定啟發式規則或自適應演算法，但這些方法無法明確保證約束領域的能力不會退化。針對這一問題，來自Apple和ETH Zurich的研究團隊提出了DynaMiCS（Dynamic Mixture with Constraints），一種動態混合最佳化器，將多領域微調重新建模為帶約束的最佳化問題。
DynaMiCS的核心創新在於每個更新步驟中執行短領域探測執行。具體而言，模型在少量樣本上對每個微調資料集進行快速訓練，並評估其對各評估領域的影響，從而估計一個區域性跨領域效應的斜率矩陣。該矩陣量化了在每個資料集上訓練如何影響目標領域和約束領域的損失。基於這些估計，DynaMiCS透過機率單純形上的約束最佳化計算下一組混合權重，最佳化目標是在提升目標領域效能的同時，確保約束領域的損失不會超過預設的參考水平（例如，初始模型的損失）。
實驗在多種多領域微調場景中進行，涉及不同數量的目標領域和約束領域。結果表明，DynaMiCS在目標領域改進和約束滿足率上均顯著優於固定混合基線方法。例如，在同時最佳化數學推理和程式碼生成（目標領域）並維持通用知識和安全性（約束領域）的任務中，DynaMiCS不僅取得了更高的目標領域準確率，還成功避免了約束領域的效能下降。此外，DynaMiCS的計算成本更低，因為它無需依賴參考模型、逐樣本評分或手動調節混合權重，僅透過短探測執行即可動態調整混合比例。
該方法的提出為大規模語言模型的精細微調提供了新的思路，使開發者能夠在沒有複雜人工干預的情況下，在多個效能指標之間取得平衡。研究團隊還計劃探索DynaMiCS在更大規模模型和更多領域上的應用，以及將其擴充套件到持續學習場景中。