拡散大規模言語モデル(dLLM)は、トークンを反復的に洗練しながら生成する新しいタイプのモデルですが、一度書き込まれた決定は不可逆的であるため、「安定性のラグ」という問題を抱えています。つまり、初期段階で下された決定は、後続のステップで修正される可能性があるにもかかわらず、量子化などの処理によって容易に反転してしまう脆弱性を持っています。特に、ポストトレーニング量子化(PTQ)で導入される誤差は、モデルがトークンを最終決定する「書き込みフロンティア」において、境界線上にある決定を反転させ、その誤った決定が永久に固定・増幅される原因となります。
この課題に対処するため、研究者らはFAIR-Calib(Frontier-Aware Instability-Reweighted Calibration)を提案しました。これはdLLMに特化した2段階のPTQフレームワークです。この手法の核心は、生成プロセス中に誤りやすい境界状態を特定し、保護することにあります。
第1段階では、完全精度の教師モデルをプローブすることで「位置事前分布」を推定します。この事前分布は、反転しやすい書き込みフロンティアにあるトークン位置(「フロンティアヒット」)と、マスクされた段階での信頼性の両方を組み合わせたものです。これにより、FAIR-Calibは保護すべき脆弱な領域を正確に特定できます。
第2段階では、オフポリシーの層別キャリブレーションを実行します。具体的には、重み付けされた隠れ状態の平均二乗誤差(MSE)を最小化することで、脆弱なフロンティア状態の保護を優先します。このアプローチは、高価なエンドツーエンドの拡散ロールアウトを必要としないため、計算コストを大幅に削減できます。さらに、研究チームは理論的に、この重み付けされた目的関数が出力KLダイバージェンスの有効な代理であることを証明し、手法の理論的基盤を提供しています。
実験結果は、FAIR-CalibがLLaDAおよびDream(W4A4)モデルにおいて、既存の最先端ベースラインを一貫して上回ることを示しています。フロンティアでの決定反転が大幅に減少し、コミット後の不整合も抑制されました。この研究は、複数のベンチマークで優れた性能を発揮し、第43回国際機械学習会議(ICML 2026)にポスター論文として採択されています。これにより、拡散言語モデルの量子化デプロイメントに関する実用的なソリューションを提供しています。