當不合理令牌被強化：面向LLM強化學習的尾部感知信用校準
本文提出TACO方法，解決LLM強化學習中統一信用分配導致的“正信用汙染”問題。TACO透過計算尾部風險分數來抑制低機率錯誤令牌的正向更新，實驗表明該方法在多個基準上優於GRPO基線，並能提升長程RL的訓練穩定性。
來源arXiv Computational Linguistics作者: Xiuyi Lou, Zicheng Xu, Yu-Neng Chuang, Hoang Anh Duy Le, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman
強化學習（RL）在提升大型語言模型（LLM）推理能力方面取得了顯著成功。然而，廣泛使用的無評論家RL方法依賴統一信用分配，即對所有令牌給予相同的優勢，無論其差異如何。這種設計存在一個關鍵失效模式——正信用汙染：低機率尾部令牌（即上下文錯誤的令牌）與合理令牌獲得相同的正信用，導致有缺陷的推理行為被不加區分地強化。
為解決這一問題，來自研究機構的Xiuyi Lou等七位作者提出了TACO（Tail-Aware Credit calibratiOn）方法。TACO首先計算一個尾部風險分數，該分數結合本地生成上下文，評估每個令牌落入不可靠尾部的風險，從而區分意外的稀缺性與不確定性驅動的探索。然後，TACO利用該分數調整風險令牌的正向信用，但不完全移除其梯度，使得重複出現的有用稀有模式能夠累積強化，而偶然噪聲則被逐步抑制。
實驗在三個LLM（包括不同規模和架構的模型）和八個基準上進行，涵蓋數學推理、常識推理等多種任務。結果顯示TACO一致優於GRPO風格的基線。值得注意的是，TACO提升了訓練穩定性，支援在長程RL中持續獲得效能增益。此外，TACO對超引數不敏感，易於部署。論文程式碼已開源在GitHub上，供社群使用和進一步研究。該方法為LLM強化學習中的信用分配問題提供了一種新穎而有效的解決方案，有望推動更可靠推理模型的發展。