拡散言語モデル（DLM）は新たなテキスト生成パラダイムとして注目されているが、その推論能力の向上には課題が残る。自己回帰モデルで広く使われる教師ありファインチューニング（SFT）は、DLMに適用すると効果が不安定で、性能を損なうことさえある。この現象の原因はこれまで十分に研究されていなかった。2026年5月21日にarXivに投稿された論文「Learnability-Informed Fine-Tuning of Diffusion Language Models」は、この問題を体系的に分析し、LIFTと呼ばれる効率的なファインチューニングアルゴリズムを提案した。
著者のShubham Parasharら8名は、通常のSFTが「学習可能性」、すなわちどのトークンをいつ学習すべきかという点を無視していることを明らかにした。拡散プロセスでは、入力の大部分がマスクされている場合、稀なトークンの学習は困難である。一方、入力の大部分がマスクされていない場合、一般的なトークンの学習は容易すぎて価値が小さい。このミスマッチがSFTの非効率性を招いていた。
LIFTは、訓練を拡散タイムステップの情報利用可能性に整合させる。マスク率が高い初期段階ではモデルは易しいトークンの学習に集中し、文脈が豊かになるにつれて難しいトークンの学習に移行する。この動的調整により、各タイムステップで最適な学習信号が得られる。
実験では、LIFTが6つの推論ベンチマークで既存のSFTベースラインを上回り、AIME'24やAIME'25などの数学競技データセットで最大3倍の相対ゲインを達成した。この顕著な改善は、学習可能性を考慮した微調整の有効性を証明している。論文のコードはGitHubで公開されており、コミュニティによる再現と更なる研究が可能である。
この研究は、拡散言語モデルの後訓練に新たな視点を提供するだけでなく、訓練目標とモデルの内在的な学習ダイナミクスの整合性の重要性を強調している。今後、同様の学習可能性を考慮した手法が他の生成モデルやタスクにも応用されることが期待される。