あり得ないトークンが強化されるとき：LLM強化学習のためのテール認識クレジット調整
本論文は、LLMの強化学習における一様なクレジット割り当てが引き起こす「正のクレジット汚染」問題を特定し、TACO（Tail-Aware Credit calibratiOn）手法を提案する。TACOは、ローカル生成コンテキストに基づいて各トークンのテールリスクスコアを計算し、リスクの高いトークンへの正の更新を抑制する。3つのLLMと8つのベンチマークでの実験により、GRPOスタイルのベースラインを一貫して上回り、長期的RLの訓練安定性を向上させることを示した。
強化学習（RL）は、大規模言語モデル（LLM）の推論能力を向上させる上で顕著な成功を収めている。しかし、広く使われている批評家なしのRL手法は、トークン間の差異を無視して一律のクレジットを割り当てる一様クレジット割り当てに依存している。この設計には重大な欠陥モードがあり、筆者らはそれを「正のクレジット汚染」と呼ぶ。すなわち、文脈的に誤った低確率のテールトークンが、同じ系列内の妥当なトークンと同一の正のクレジットを受け取り、誤った推論行動が無差別に強化される。
この問題を緩和するために、Xiuyi Louら7名の著者はTACO（Tail-Aware Credit calibratiOn）を提案する。TACOはまず、ローカル生成コンテキストを組み込んだテールリスクスコアを計算し、各トークンが信頼できないテールに該当するリスクを評価する。これにより、予期しない希少性と不確実性に駆動された探索を区別する。次に、このスコアを用いてリスクトークンの正のクレジットを調整するが、勾配を完全に除去するわけではない。これにより、繰り返し現れる有用な希少パターンは強化を蓄積できる一方、偶発的なノイズは徐々に減衰される。
実験は3つのLLM（異なる規模やアーキテクチャのモデルを含む）と8つのベンチマークで行われ、数学的推論や常識推論など多様なタスクをカバーしている。結果は、TACOがGRPOスタイルのベースラインを一貫して上回ることを示している。特に、TACOは訓練安定性を向上させ、長期的なRLにおける持続的な性能向上を支援する。また、TACOはハイパーパラメータに敏感でなく、導入が容易である。論文のソースコードはGitHubで公開されており、コミュニティによる利用とさらなる研究が促進される。本手法は、LLM強化学習におけるクレジット割り当て問題に対する新規で効果的な解決策を提供し、より信頼性の高い推論モデルの開発に貢献することが期待される。