大規模言語モデル（LLM）のマルチドメインファインチューニングでは、目標ドメイン（例えば特定のタスクや専門知識）の性能を向上させると同時に、制約ドメイン（汎用知識、指示追従、安全性評価など）の能力を維持することが重要な課題となっている。既存のデータ混合戦略は固定ヒューリスティックや適応ルールに依存しており、制約ドメインの性能維持を明示的に保証できない。この問題に対し、AppleとETH Zurichの研究チームはDynaMiCS（Dynamic Mixture with Constraints）を提案した。これは動的混合最適化手法であり、マルチドメインファインチューニングを制約付き最適化問題として再定式化する。
DynaMiCSの核心は、各更新ステップで短いドメイン固有のプロービング実行を実施することにある。具体的には、モデルが各ファインチューニングデータセットに基づいて少量のサンプルで高速に訓練され、その結果が各評価ドメインに与える影響を評価する。これにより、各データセットでの訓練が目標ドメインと制約ドメインの損失に与える効果を表す局所的クロスドメイン効果の傾き行列が推定される。この推定値を基に、確率単体上の制約付き最適化によって次の混合重みが計算される。最適化の目的は、目標ドメインの性能を向上させつつ、制約ドメインの損失を事前に設定された基準レベル（例えば初期モデルの損失）以下に維持することである。
実験は、異なる数の目標ドメインと制約ドメインを含むさまざまなマルチドメインファインチューニングシナリオで行われた。例えば、数学推論とコード生成（目標ドメイン）の最適化と同時に汎用知識と安全性（制約ドメイン）を維持するタスクにおいて、DynaMiCSは固定混合ベースラインと比較して、目標ドメインの精度向上と制約ドメインの性能維持の両方で優れた結果を示した。さらに、DynaMiCSは計算コストが低く、参照モデル、サンプルごとのスコアリング、手動調整を必要としないため、実用的な利点が大きい。
この手法は、大規模言語モデルのきめ細かいファインチューニングにおいて、複数の性能指標間のバランスを人間の複雑な介入なしに達成する新たな道を開く。研究チームは、さらに大規模なモデルや多様なドメインへの適用、継続学習シナリオへの拡張を計画している。