2026年6月9日提交至arXiv的一篇论文(编号2606.13705)探讨了大语言模型(LLM)在长事实枚举任务中反复陷入循环重复的现象,并尝试通过编辑模型权重来修复这一故障。论文标题为《Can Editing 1 Neuron Fix Repetition Loops in LLMs?》,由Aristotelis Lazaridis等六位作者完成。
研究聚焦于Gemma 4指令微调模型系列,这些模型在应对需要列出大量事实的提示时——例如列举某电视剧的所有剧集、88个国际天文学联合会星座或151个初代宝可梦——会出现可复现的失败:要么陷入逐字重复的紧密循环,要么列表条目逐渐衰减为同一个答案。这种循环的发生率高达95%,并且对提示改写、推理引擎更换以及大多数采样参数调整都具有鲁棒性。
为了定位循环的成因,作者采用了逐层消融和逐神经元归因的方法,并通过完整生成扫描确认最强候选。他们发现循环可追溯至一小组MLP神经元(在26B-A4B混合专家模型中则为少数路由专家),并通过静态权重编辑抑制这些神经元。这些“手术”的规模可以非常小:在E2B模型中,仅需反转单个神经元的符号。有效编辑的大小随模型规模增长,但在所有情况下,循环模式都能在正常生成预算内得到解决,同时保持通用基准测试分数。
然而,权重编辑并非万能。作者还研究了更长的思考预算场景,其中两个较大模型最明显地进入“doom loop”——一种非收敛状态,模型围绕一个无法回忆的事实反复自我纠正,耗尽预算却无法给出最终答案。他们表明,同样的编辑能减少但无法消除这种残余失败。作者认为,这本质上是一个知识精度问题,而非可移除的电路问题:权重手术可以删除循环,但无法提供缺失的事实。
该研究的意义在于双重的:一方面,它提供了可行性证明,即一个具体的生成病理可以被定位至少数参数并通过编辑移除;另一方面,它清晰地划定了这种方法的边界。论文被归类为机器学习(cs.LG)和人工智能(cs.AI),全文可通过arXiv获取,DOI为10.48550/arXiv.2606.13705。