近年來，擴散大語言模型（dLLMs）在自然語言處理領域展現出巨大潛力，但其強化學習訓練面臨效率瓶頸。當前最先進的方法TraceRL認為隨機掩碼與模型推理軌跡不匹配，因此必須透過將每次展開切片成多個軌跡對齊的樣本來重建軌跡，這導致計算成本隨塊大小K線性增長。針對這一問題，來自多個機構的研究人員提出了一種名為SLIM-RL的新方法，在不重建軌跡的情況下緩解了不匹配問題，大幅提升了訓練效率。
SLIM-RL的核心創新在於引入τ預算解碼器，在每一步展開中限制承諾風險，從而降低訓練資料中的總體風險。在最佳化過程中，它採用無跡隨機掩碼目標，並融合了序列級重要性取樣、確定性正交法等方差降低技術，同時引入了一種均值保持、逐塊單調遞減的掩碼排程。這些設計使得SLIM-RL能夠在保持效能的同時，顯著減少所需的訓練樣本。
實驗結果表明，在SDAR-4B模型上，當塊大小為16時，SLIM-RL僅需TraceRL 0.46倍的訓練樣本即可達到其最佳MATH500準確率。在匹配動態取樣的條件下，SLIM-RL在MATH500上比TraceRL提升6.32%，在GSM8K上提升11.05%。當塊大小為4時，4B引數的SLIM-RL在數學任務上甚至超越了更大的LLaDA-8B和Dream-7B擴散LLM，其中MATH500準確率比LLaDA-8B高出10.76%，但仍低於自迴歸模型Qwen2.5-7B。在程式碼生成任務上，SLIM-RL在MBPP和HumanEval上分別比TraceRL提升4.20%和3.65%。此外，τ預算解碼器無需額外訓練即可在LLaDA、Dream和SDAR等不同模型之間遷移，展示了良好的泛化能力。
該研究已發表於arXiv，並提供了開原始碼（GitHub: https://github.com/laolaorkkkkk/SLIM-RL）。SLIM-RL為擴散大語言模型的強化學習提供了一種更高效、更經濟的替代方案，有望推動該領域的實際應用和進一步發展。