データ混合は、言語モデルのトレーニングにおいて異なるソースや種類のデータをどのように組み合わせるかを決定する重要な問題です。事前学習ではデータ構成がモデルの品質を左右し、継続学習や適応では何を保持し何を獲得するかを規定します。しかし、既存のデータ混合手法はライフサイクルの一つのフェーズしか扱えず、小型のプロキシモデルを必要としたり、固定されたドメインセットを仮定したり、継続学習には原理的なガイダンスが欠けていました。
この課題に対し、ニューヨーク大学の研究チームは、言語モデルトレーニングの全ライフサイクルにわたって動作する統一データ混合アルゴリズム「OP-Mix（On-Policy Mix）」を提案しました。主なアイデアは、現在のモデルで訓練された複数の低ランクアダプタ（LoRA）を補間することで、候補となるデータ混合を低コストでシミュレートするというものです。これにより、別個のプロキシモデルが不要になり、探索が常にモデルの実際の学習ダイナミクスに基づくことが保証されます。
OP-Mixは、事前学習、継続的中間学習、継続的インストラクションチューニングの実験において、常にほぼ最適な混合を、ベースラインの計算量の一部で見つけ出しました。事前学習では、混合なしの場合と比較して平均パープレキシティが6.3%改善しました。継続学習では、再学習やオンポリシー蒸留と同等の性能を達成しつつ、全体の計算量をそれぞれ66%および95%削減しました。
OP-Mixは、言語モデルトレーニングを一連の異なるフェーズではなく、データから学習する単一の連続プロセスとして捉える新しい視点を提供します。このパラダイムシフトは、今後の言語モデル開発に大きな影響を与える可能性があります。本論文は2026年5月13日にarXivに投稿され、著者はMichael Y. Hu、Apurva Gandhi、Kyunghyun Cho、Tal Linzen、Pratyusha Sharmaです。