Liquid AI 開源 Antidoom：一種透過最終令牌偏好最佳化（FTPO）減少推理模型死迴圈的方法

Liquid AI 近日開源了 Antidoom，一種專門用於解決推理模型中“死迴圈”（doom loop）問題的創新方法。死迴圈是指模型在生成過程中不斷重複同一段內容，直到耗盡上下文視窗。小型推理模型在應對長思考鏈和複雜問題時尤其容易陷入這種迴圈。Antidoom 的目標是精準定位並消除這種迴圈，而不改變模型的其他行為。

Antidoom 的工作原理基於最終令牌偏好最佳化（FTPO）。首先，它透過生成包含迴圈的樣本，檢測出迴圈開始的位置。具體來說，當一段內容重複至少四次且長度超過60個字元時，即判定為迴圈。隨後，Antidoom 定位到迴圈起始的第一個令牌，並從基礎模型的輸出分佈中選取前k個合理的替代令牌作為候選。訓練時，每個樣本由字首、被拒絕的令牌（即迴圈起始令牌）和一個或多個選中的令牌組成。FTPO 演算法類似於 DPO，但針對最終令牌進行最佳化，且每個樣本支援多個選中令牌，從而避免簡單地用一個高頻令牌替換另一個。

實驗結果表明，Antidoom 效果顯著。在 LFM2.5-2.6B 模型的早期檢查點上，死迴圈率從 10.2% 下降至 1.4%，而評估分數也隨之全面提升。類似地，Qwen3.5-4B 的迴圈率從 22.9% 驟降至 1%。這些改進完全歸因於迴圈的減少，而非模型習得了新的知識。值得注意的是，訓練僅需一個 epoch 並使用 LoRA（秩 128-256），整個流程（資料生成加訓練）在數小時內即可完成。

Antidoom 的優勢在於其針對性、高效性和開源特性。它不改變模型的大部分能力，而是修復了阻礙正確輸出的迴圈問題。然而，該方法也存在一些挑戰：首次訓練可能暴露出新的迴圈點，因此可能需要多輪迭代；過度訓練會損害模型效能，因此需要早期停止；此外，每個模型都需要單獨生成迴圈資料集。儘管如此，Antidoom 為推理模型的後訓練修復提供了實用且輕量的解決方案，尤其適合裝置端模型和智慧體流水線的成本控制。