CaRE：面向掩碼擴散語言模型的計算感知重掩碼評估協議
CaRE提出了一個標準化評估框架，用於比較掩碼擴散語言模型（MDLM）的重掩碼策略。透過統一實際函式評估次數（NFE）、強制多指標報告並明確控制隨機性，CaRE揭示了溫度是MAUVE方差的主要來源，且計算匹配的比較會反轉多項已發表的策略排名。研究還發現，資訊性重掩碼與隨機去掩碼之間存在張力，高熵重掩碼在特定條件下會顯著降低MAUVE。CaRE排行榜覆蓋12個開源MDLM，驗證了該互動方向在不同架構和規模下的一致性。
掩碼擴散語言模型（MDLM）近年來發展迅速，已成為自迴歸語言模型的有力競爭者。然而，評估標準的滯後使得不同研究之間的結果難以直接比較，這阻礙了領域內的可靠進步。最近七篇關於重掩碼策略的論文在互不相容的設定下進行評估：它們使用不同的名義步數、評估指標和取樣溫度，而沒有對這些因素進行聯合控制。這導致策略排名在很大程度上不可比較，也讓人懷疑所報告的效能提升究竟是真正的演算法改進，還是評估方法帶來的假象。
為了解決這一問題，來自多位作者的研究團隊提出了CaRE（Compute-aware Remasking Evaluation）框架。CaRE是一種計算感知的評估協議，透過三個關鍵步驟來審計MDLM的重掩碼策略：統一實際函式評估次數（NFE），強制使用多指標報告體系，以及明確控制隨機性。NFE的標準化確保了不同策略在相同計算預算下的公平比較，而多指標報告（包括MAUVE、PPL等）則避免了單一指標可能帶來的偏差。隨機性的明確控制，特別是對取樣溫度的系統性調節，使得評估結果更加穩健。
研究團隊在LLaDA-8B-Base和Dream-7B-Base兩個模型上對七種重掩碼策略進行了全面測試，涵蓋了四個隨機性水平和三個步數預算，使用的資料集為OpenWebText和LM1B。實驗結果揭示了三個重要發現：第一，溫度是導致MAUVE（一種衡量生成質量的指標）方差的主要因素，其對結果的影響遠超策略本身的差異；第二，當在計算量匹配的條件下進行比較時，多項此前發表的策略排名會被完全反轉，這意味著過去的結論可能因計算量控制不當而產生誤導；第三，資訊性重掩碼與隨機去掩碼之間存在明顯的張力，具體而言，高熵重掩碼在256步、unmask_temp=0.25的條件下會使MAUVE降低0.296（p=0.020），這表明在某些情況下，過多的資訊引導反而會損害生成質量。
為了驗證這些發現的普遍性，研究團隊還構建了一個覆蓋12個開源MDLM的CaRE排行榜，模型引數規模從150M到8B不等。結果表明，上述互動作用的方向在不同架構和規模下保持一致，進一步證實了當前MDLM評估中普遍存在的問題。
這些發現的意義在於，它們表明目前的MDLM評估方法可能會系統性地將演算法改進與計算量和隨機性的隱藏選擇混為一談。換句話說，某些看似先進的演算法競爭力可能只是源於更寬鬆的計算預算或特定的隨機性設定，而非真正的技術創新。為了推動領域向更可靠的方向發展，作者公開了CaRE的評估協議、實現程式碼和排行榜，確保未來的重掩碼研究可以在統一標準下進行復現和比較。這項工作為MDLM領域的標準化評估邁出了關鍵一步，也為後續研究提供了重要的參考基準。