使用最终令牌偏好优化减少“末日循环”

在大型语言模型的推理过程中，“末日循环”是一种常见的故障模式：模型会生成一段内容（例如“等等，让我重新思考……”），然后反复重复同一段内容，直到上下文窗口耗尽。小型推理模型更容易出现这种行为，尤其是在处理长推理链和难题时。常用的推理时修复方法是应用重复惩罚来重新加权输出分布，但这只是一种权宜之计，可能会降低模型性能。强化学习可以针对重复循环，但通常需要精心校准的奖励和昂贵的在线采样。

Liquid AI团队提出了一种更精准的方法——Antidoom。该方法通过最终令牌偏好优化（FTPO）技术，识别循环开始的第一个令牌，并训练模型在该位置选择更合理的替代令牌，同时尽量不影响其他部分的分布。FTPO与直接偏好优化（DPO）不同，它只训练生成过程中的最后一个令牌，每个样本支持多个被选的完成令牌，并在logit空间中实现类似KL散度的损失组件，从而避免对无关令牌的梯度压力。

末日循环的产生源于三种机制共同作用：过度训练的令牌与不确定性、先前上下文强化循环、以及贪心采样。当模型遇到困难时，一些在训练数据中出现频率较高的令牌（如“Wait”、“So”、“Alternatively”）容易成为重复循环的起点。随着循环重复，循环内令牌的概率逐渐趋近于1，即使在高温度采样下也难以跳出循环。

为了构建有针对性的训练集，研究团队在一个专门设计的提示混合集上生成低温度下的补全，然后挖掘失败样本。检测到循环后，他们定位第一次重复的第一个令牌位置，从基模型的top-k log-prob替代项中筛选出最多20个合理的替代令牌作为被选令牌。训练前，他们对被拒和被选令牌的分布进行正则化处理，防止某些高频令牌的过度抑制。

在LFM2.5-2.6B早期检查点上，Antidoom训练将末日循环率从10.2%降至1.4%，评估分数全面提升。同样，在Qwen3.5-4B模型上，循环率从22.9%降至1%，评估分数显著提高。值得注意的是，消除循环后，模型在接近贪心采样的低温度下表现出更强的性能，推翻了此前认为推理模型需要高温度采样的普遍观点。此外，多次应用Antidoom可以进一步降低循环率，因为第一次训练后可能暴露出新的循环触发点。

Antidoom从根本上修复了训练后常见的退化重复行为，特别是针对思考模型。它选择性地瞄准引发问题的令牌，对剩余分布的附带损害最小。目前的结果表明，该方法在Liquid内部LFM检查点以及Qwen3.5-4B上均实现了近乎完全的重复循环消除。相关代码和训练指南已在GitHub上开源。