最近、arXivに発表された論文では、自己回帰言語モデル（ARLM）を拡散言語モデル（DLM）へ効率的に変換する新しい手法「オンライン政策拡散言語モデル（OPDLM）」が提案された。この研究はXingyu Suら9名の著者によるもので、論文番号はarXiv:2606.06712v1、計算と言語（cs.CL）分野に属し、人工知能（cs.AI）にも関連している。
従来、自己回帰モデルを拡散モデルに変換する方法では、ARLMの因果的注意を双方向注意に置き換え、その結果得られたモデルをDLMの目的関数で訓練していた。しかし、このアプローチには二つの分布シフトの問題が生じる。第一に、次トークン予測目的からDLM目的への移行により、ARLMが訓練中に獲得した知識が失われる可能性がある。第二に、標準的なDLMは訓練と推論の不一致に悩まされる。訓練損失はランダムにマスクされた系列上で定義されるが、推論時には信頼度ベースのデコーディングによって生成される軌跡上で encountered されるためである。
これらの課題を解決するため、研究チームはOPDLMを導入した。ここではオンライン政策蒸留（OPD）がARLMからDLMへの変換に用いられる。具体的には、OPDLMは自己OPDによって訓練される。学生モデルは双方向注意を備えたARLMであり、自身の軌跡を生成する。教師モデルは元の凍結されたARLMであり、これらの軌跡上で目標ロジットを提供することで知識を蒸留する。オンライン政策方式で直接訓練することで、OPDLMはDLMにおける訓練と推論の不一致を解消し、同時に元のモデルからの蒸留によりARLMからの知識保持を強化する。
実証結果は、OPDLMが多様なタスクで強い性能を示しながら、従来の方法と比較して15倍から7,000倍少ない訓練トークンで済むことを示している。この大幅なデータ効率の向上により、DLMの事前訓練にかかる prohibitive なコストが回避され、DLM変換がARLMの事後訓練の一形態として位置づけられる。本論文は2026年6月4日に提出され、モデル変換の効率化における重要な進展を示している。