強化學習（RL）在提升大型語言模型（LLM）推理能力方面取得了顯著成功。然而，廣泛使用的無評論家RL方法依賴統一信用分配，即對所有令牌給予相同的優勢，無論其差異如何。這種設計存在一個關鍵失效模式——正信用污染：低概率尾部令牌（即上下文錯誤的令牌）與合理令牌獲得相同的正信用，導致有缺陷的推理行為被不加區分地強化。
為解決這一問題，來自研究機構的Xiuyi Lou等七位作者提出了TACO（Tail-Aware Credit calibratiOn）方法。TACO首先計算一個尾部風險分數，該分數結合本地生成上下文，評估每個令牌落入不可靠尾部的風險，從而區分意外的稀缺性與不確定性驅動的探索。然後，TACO利用該分數調整風險令牌的正向信用，但不完全移除其梯度，使得重複出現的有用稀有模式能夠累積強化，而偶然噪聲則被逐步抑制。
實驗在三個LLM（包括不同規模和架構的模型）和八個基準上進行，涵蓋數學推理、常識推理等多種任務。結果顯示TACO一致優於GRPO風格的基線。值得注意的是，TACO提升了訓練穩定性，支持在長程RL中持續獲得性能增益。此外，TACO對超參數不敏感，易於部署。論文代碼已開源在GitHub上，供社區使用和進一步研究。該方法為LLM強化學習中的信用分配問題提供了一種新穎而有效的解決方案，有望推動更可靠推理模型的發展。