DynaMiCS：动态混合优化实现性能约束下的大语言模型多领域微调

在大型语言模型（LLM）的多领域微调中，一个核心挑战是如何在提升目标领域（如特定任务或领域知识）性能的同时，保持模型在约束领域（如通用知识、指令遵循或安全性评估）上的能力。现有的数据混合策略通常依赖于固定启发式规则或自适应算法，但这些方法无法明确保证约束领域的能力不会退化。针对这一问题，来自Apple和ETH Zurich的研究团队提出了DynaMiCS（Dynamic Mixture with Constraints），一种动态混合优化器，将多领域微调重新建模为带约束的优化问题。

DynaMiCS的核心创新在于每个更新步骤中执行短领域探测运行。具体而言，模型在少量样本上对每个微调数据集进行快速训练，并评估其对各评估领域的影响，从而估计一个局部跨领域效应的斜率矩阵。该矩阵量化了在每个数据集上训练如何影响目标领域和约束领域的损失。基于这些估计，DynaMiCS通过概率单纯形上的约束优化计算下一组混合权重，优化目标是在提升目标领域性能的同时，确保约束领域的损失不会超过预设的参考水平（例如，初始模型的损失）。

实验在多种多领域微调场景中进行，涉及不同数量的目标领域和约束领域。结果表明，DynaMiCS在目标领域改进和约束满足率上均显著优于固定混合基线方法。例如，在同时优化数学推理和代码生成（目标领域）并维持通用知识和安全性（约束领域）的任务中，DynaMiCS不仅取得了更高的目标领域准确率，还成功避免了约束领域的性能下降。此外，DynaMiCS的计算成本更低，因为它无需依赖参考模型、逐样本评分或手动调节混合权重，仅通过短探测运行即可动态调整混合比例。

该方法的提出为大规模语言模型的精细微调提供了新的思路，使开发者能够在没有复杂人工干预的情况下，在多个性能指标之间取得平衡。研究团队还计划探索DynaMiCS在更大规模模型和更多领域上的应用，以及将其扩展到持续学习场景中。