当不合理令牌被强化：面向LLM强化学习的尾部感知信用校准
本文提出TACO方法，解决LLM强化学习中统一信用分配导致的“正信用污染”问题。TACO通过计算尾部风险分数来抑制低概率错误令牌的正向更新，实验表明该方法在多个基准上优于GRPO基线，并能提升长程RL的训练稳定性。
来源arXiv Computational Linguistics作者: Xiuyi Lou, Zicheng Xu, Yu-Neng Chuang, Hoang Anh Duy Le, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman
强化学习（RL）在提升大型语言模型（LLM）推理能力方面取得了显著成功。然而，广泛使用的无评论家RL方法依赖统一信用分配，即对所有令牌给予相同的优势，无论其差异如何。这种设计存在一个关键失效模式——正信用污染：低概率尾部令牌（即上下文错误的令牌）与合理令牌获得相同的正信用，导致有缺陷的推理行为被不加区分地强化。
为解决这一问题，来自研究机构的Xiuyi Lou等七位作者提出了TACO（Tail-Aware Credit calibratiOn）方法。TACO首先计算一个尾部风险分数，该分数结合本地生成上下文，评估每个令牌落入不可靠尾部的风险，从而区分意外的稀缺性与不确定性驱动的探索。然后，TACO利用该分数调整风险令牌的正向信用，但不完全移除其梯度，使得重复出现的有用稀有模式能够累积强化，而偶然噪声则被逐步抑制。
实验在三个LLM（包括不同规模和架构的模型）和八个基准上进行，涵盖数学推理、常识推理等多种任务。结果显示TACO一致优于GRPO风格的基线。值得注意的是，TACO提升了训练稳定性，支持在长程RL中持续获得性能增益。此外，TACO对超参数不敏感，易于部署。论文代码已开源在GitHub上，供社区使用和进一步研究。该方法为LLM强化学习中的信用分配问题提供了一种新颖而有效的解决方案，有望推动更可靠推理模型的发展。