Liquid AI 开源 Antidoom：一种通过最终令牌偏好优化（FTPO）减少推理模型死循环的方法

Liquid AI 近日开源了 Antidoom，一种专门用于解决推理模型中“死循环”（doom loop）问题的创新方法。死循环是指模型在生成过程中不断重复同一段内容，直到耗尽上下文窗口。小型推理模型在应对长思考链和复杂问题时尤其容易陷入这种循环。Antidoom 的目标是精准定位并消除这种循环，而不改变模型的其他行为。

Antidoom 的工作原理基于最终令牌偏好优化（FTPO）。首先，它通过生成包含循环的样本，检测出循环开始的位置。具体来说，当一段内容重复至少四次且长度超过60个字符时，即判定为循环。随后，Antidoom 定位到循环起始的第一个令牌，并从基础模型的输出分布中选取前k个合理的替代令牌作为候选。训练时，每个样本由前缀、被拒绝的令牌（即循环起始令牌）和一个或多个选中的令牌组成。FTPO 算法类似于 DPO，但针对最终令牌进行优化，且每个样本支持多个选中令牌，从而避免简单地用一个高频令牌替换另一个。

实验结果表明，Antidoom 效果显著。在 LFM2.5-2.6B 模型的早期检查点上，死循环率从 10.2% 下降至 1.4%，而评估分数也随之全面提升。类似地，Qwen3.5-4B 的循环率从 22.9% 骤降至 1%。这些改进完全归因于循环的减少，而非模型习得了新的知识。值得注意的是，训练仅需一个 epoch 并使用 LoRA（秩 128-256），整个流程（数据生成加训练）在数小时内即可完成。

Antidoom 的优势在于其针对性、高效性和开源特性。它不改变模型的大部分能力，而是修复了阻碍正确输出的循环问题。然而，该方法也存在一些挑战：首次训练可能暴露出新的循环点，因此可能需要多轮迭代；过度训练会损害模型性能，因此需要早期停止；此外，每个模型都需要单独生成循环数据集。尽管如此，Antidoom 为推理模型的后训练修复提供了实用且轻量的解决方案，尤其适合设备端模型和智能体流水线的成本控制。