使用最终令牌偏好优化减少“末日循环”

要点

• 末日循环是推理模型中常见的故障模式，模型会重复生成同一段内容直到上下文窗口耗尽。
• Antidoom方法通过识别循环开始的第一个令牌，并训练模型在该位置选择更合适的替代令牌。
• 在LFM2.5-2.6B和Qwen3.5-4B模型上，末日循环率分别从10.2%降至1.4%和从22.9%降至1%。
• 该方法在减少循环的同时，还提高了模型在低温度采样下的性能表现。