Liquid AI 開源 Antidoom：一種通過最終令牌偏好優化（FTPO）減少推理模型死循環的方法

Liquid AI 近日開源了 Antidoom，一種專門用於解決推理模型中“死循環”（doom loop）問題的創新方法。死循環是指模型在生成過程中不斷重複同一段內容，直到耗盡上下文窗口。小型推理模型在應對長思考鏈和複雜問題時尤其容易陷入這種循環。Antidoom 的目標是精準定位並消除這種循環，而不改變模型的其他行為。

Antidoom 的工作原理基於最終令牌偏好優化（FTPO）。首先，它通過生成包含循環的樣本，檢測出循環開始的位置。具體來説，當一段內容重複至少四次且長度超過60個字符時，即判定為循環。隨後，Antidoom 定位到循環起始的第一個令牌，並從基礎模型的輸出分佈中選取前k個合理的替代令牌作為候選。訓練時，每個樣本由前綴、被拒絕的令牌（即循環起始令牌）和一個或多個選中的令牌組成。FTPO 算法類似於 DPO，但針對最終令牌進行優化，且每個樣本支持多個選中令牌，從而避免簡單地用一個高頻令牌替換另一個。

實驗結果表明，Antidoom 效果顯著。在 LFM2.5-2.6B 模型的早期檢查點上，死循環率從 10.2% 下降至 1.4%，而評估分數也隨之全面提升。類似地，Qwen3.5-4B 的循環率從 22.9% 驟降至 1%。這些改進完全歸因於循環的減少，而非模型習得了新的知識。值得注意的是，訓練僅需一個 epoch 並使用 LoRA（秩 128-256），整個流程（數據生成加訓練）在數小時內即可完成。

Antidoom 的優勢在於其針對性、高效性和開源特性。它不改變模型的大部分能力，而是修復了阻礙正確輸出的循環問題。然而，該方法也存在一些挑戰：首次訓練可能暴露出新的循環點，因此可能需要多輪迭代；過度訓練會損害模型性能，因此需要早期停止；此外，每個模型都需要單獨生成循環數據集。儘管如此，Antidoom 為推理模型的後訓練修復提供了實用且輕量的解決方案，尤其適合設備端模型和智能體流水線的成本控制。