CaRE：面向掩码扩散语言模型的计算感知重掩码评估协议
CaRE提出了一个标准化评估框架，用于比较掩码扩散语言模型（MDLM）的重掩码策略。通过统一实际函数评估次数（NFE）、强制多指标报告并明确控制随机性，CaRE揭示了温度是MAUVE方差的主要来源，且计算匹配的比较会反转多项已发表的策略排名。研究还发现，信息性重掩码与随机去掩码之间存在张力，高熵重掩码在特定条件下会显著降低MAUVE。CaRE排行榜覆盖12个开源MDLM，验证了该交互方向在不同架构和规模下的一致性。
掩码扩散语言模型（MDLM）近年来发展迅速，已成为自回归语言模型的有力竞争者。然而，评估标准的滞后使得不同研究之间的结果难以直接比较，这阻碍了领域内的可靠进步。最近七篇关于重掩码策略的论文在互不兼容的设置下进行评估：它们使用不同的名义步数、评估指标和采样温度，而没有对这些因素进行联合控制。这导致策略排名在很大程度上不可比较，也让人怀疑所报告的性能提升究竟是真正的算法改进，还是评估方法带来的假象。
为了解决这一问题，来自多位作者的研究团队提出了CaRE（Compute-aware Remasking Evaluation）框架。CaRE是一种计算感知的评估协议，通过三个关键步骤来审计MDLM的重掩码策略：统一实际函数评估次数（NFE），强制使用多指标报告体系，以及明确控制随机性。NFE的标准化确保了不同策略在相同计算预算下的公平比较，而多指标报告（包括MAUVE、PPL等）则避免了单一指标可能带来的偏差。随机性的明确控制，特别是对采样温度的系统性调节，使得评估结果更加稳健。
研究团队在LLaDA-8B-Base和Dream-7B-Base两个模型上对七种重掩码策略进行了全面测试，涵盖了四个随机性水平和三个步数预算，使用的数据集为OpenWebText和LM1B。实验结果揭示了三个重要发现：第一，温度是导致MAUVE（一种衡量生成质量的指标）方差的主要因素，其对结果的影响远超策略本身的差异；第二，当在计算量匹配的条件下进行比较时，多项此前发表的策略排名会被完全反转，这意味着过去的结论可能因计算量控制不当而产生误导；第三，信息性重掩码与随机去掩码之间存在明显的张力，具体而言，高熵重掩码在256步、unmask_temp=0.25的条件下会使MAUVE降低0.296（p=0.020），这表明在某些情况下，过多的信息引导反而会损害生成质量。
为了验证这些发现的普遍性，研究团队还构建了一个覆盖12个开源MDLM的CaRE排行榜，模型参数规模从150M到8B不等。结果表明，上述交互作用的方向在不同架构和规模下保持一致，进一步证实了当前MDLM评估中普遍存在的问题。
这些发现的意义在于，它们表明目前的MDLM评估方法可能会系统性地将算法改进与计算量和随机性的隐藏选择混为一谈。换句话说，某些看似先进的算法竞争力可能只是源于更宽松的计算预算或特定的随机性设置，而非真正的技术创新。为了推动领域向更可靠的方向发展，作者公开了CaRE的评估协议、实现代码和排行榜，确保未来的重掩码研究可以在统一标准下进行复现和比较。这项工作为MDLM领域的标准化评估迈出了关键一步，也为后续研究提供了重要的参考基准。