オンポリシー蒸留：専門小モデルを効率的に訓練する手法（2025）

Thinking Machines Lab が提案するオンポリシー蒸留は、強化学習のポリシー関連性と蒸留の密な報酬信号を組み合わせ、低コストで小規模モデルを訓練する。数学推論では強化学習比50〜100倍の計算効率向上、個別化タスクではドメインファインチューニングで失われた指示追従能力の回復を実証。