Liquid AI、Antidoomをオープンソース化：推論モデルのデッドループを低減するFinal Token Preference Optimization (FTPO)手法

Liquid AIは、推論モデルにおける「デッドループ」（doom loop）という一般的な障害に対処するオープンソース手法Antidoomを公開した。デッドループとは、モデルがあるスパンを生成した後、それを繰り返し続け、最終的にコンテキストウィンドウを使い果たす現象である。特に小型の推論モデルは、長い思考過程や困難な問題に直面した際にこのループに陥りやすい。Antidoomは、こうしたループを正確に特定し、モデルの他の部分に影響を与えずに修正することを目指している。

Antidoomの核心は、最終トークン選好最適化（FTPO）にある。まず、ループを誘発するプロンプトでモデルに生成を行わせ、ループを検出する。ループは、同じセクションが60文字以上にわたって4回以上繰り返された場合に判定される。次に、最初の繰り返しの開始トークンを特定し、その位置における基本モデルのトップkの対数確率から代替トークンを抽出する。訓練データは、プレフィックス、拒否されたトークン（ループ開始トークン）、および複数の選択トークンから構成される。FTPOはDPOに類似するが、最終トークンのみを訓練対象とし、各サンプルに複数の選択トークンを持たせることで、一つのトークンが別のトークンに置き換わるだけの状態を避ける。

実験結果は顕著である。LFM2.5-2.6Bの初期チェックポイントでは、デッドループ率が10.2%から1.4%に低下し、評価スコアも全般的に向上した。同様に、Qwen3.5-4Bではループ率が22.9%から1%に激減した。これらの改善はループの除去に完全に起因しており、モデルが新しい知識を学習したわけではない。訓練は1エポック、LoRA（ランク128-256）を用いて行われ、データ生成から訓練までのパイプライン全体が数時間で完了する。

Antidoomの強みは、その標的性、効率性、そしてオープンソースである点にある。モデルの大部分を変更せず、正しい出力を阻害するループのみを修正する。ただし、課題も存在する。最初の訓練で新たなループが露見することがあり、複数回の反復が必要になる場合がある。過度な訓練はモデルを劣化させるため、早期停止が必須である。また、各モデルに対して独自のループデータセットを生成する必要がある。それでも、Antidoomは推論モデルの後処理修正として実用的で軽量なソリューションを提供し、特にオンデバイスモデルやエージェントパイプラインのコスト管理に有効である。