マスク拡散言語モデル（MDLM）は急速に進歩しており、自己回帰言語モデルと競合するまでになっている。しかし、その進歩を確実に解釈するための評価基準は追いついていない。最近の7件のリマスキング論文は互換性のない設定で評価されており、名目上のステップ数、指標、サンプリング温度が異なり、これらの要因を統制していないため、戦略ランキングの比較可能性は低く、報告された改善がアルゴリズム上の進歩なのか評価アーティファクトなのかが不明瞭である。
本論文では、CaRE（Compute-aware Remasking Evaluation）フレームワークを提案する。CaREは、実際の関数評価回数（NFE）の標準化、マルチメトリック報告の義務化、確率性の明示的制御により、MDLMのリマスキング戦略を監査する。これにより、異なる研究間での公平な比較が可能になる。
研究チームは、LLaDA-8B-BaseとDream-7B-Baseの7つのリマスキング戦略を、4つの確率性レベルと3つのステップ予算でOpenWebTextとLM1Bデータセット上で評価した。結果、以下の重要な知見が得られた：（i）温度がMAUVE分散の大部分を説明する、（ii）計算量を一致させた比較は複数の公表戦略ランキングを逆転させる、（iii）情報的リマスキングと確率的アンマスキングはトレードオフの関係にあり、高エントロピーリマスキングは256ステップ、unmask_temp=0.25でMAUVEを0.296低下させる（p=0.020）。
さらに、12のオープンウェイトMDLM（150M～8Bパラメータ）をカバーするCaREリーダーボードにより、この相互作用の方向がアーキテクチャとスケールにわたって一貫していることが確認された。これらの発見は、現在のMDLM評価がアルゴリズムの改善と計算量・確率性の隠れた選択を系統的に混同している可能性を示唆している。
研究チームは、将来のリマスキングに関する主張が再現可能で比較可能であることを保証するため、評価プロトコル、実装コード、およびリーダーボードを公開している。この取り組みは、MDLM分野における標準化された評価の重要な一歩であり、今後の研究の信頼性向上に貢献することが期待される。