最終トークン嗜好最適化によるドゥームループの削減

要点

• ドゥームループは推論モデルでよく見られる障害モードであり、モデルが同じスパンを繰り返し生成してコンテキストウィンドウを使い果たす。
• Antidoomはループの最初のトークンを特定し、その位置でより適切な代替トークンを優先するようにモデルを訓練する。
• LFM2.5-2.6Bではドゥームループ率が10.2%から1.4%に、Qwen3.5-4Bでは22.9%から1%に低下した。
• この手法は、ループが除去されると低温サンプリングが性能向上に寄与することも明らかにした。