2026年6月9日にarXivに投稿された論文（番号2606.13705）は、大規模言語モデル（LLM）が長い事実列挙タスクで繰り返しループに陥る現象を調査し、モデルの重みを編集することでこの障害を修復できるかどうかを探求している。タイトルは「Can Editing 1 Neuron Fix Repetition Loops in LLMs?」で、Aristotelis Lazaridis氏ら6名の著者によるものである。
研究はGemma 4指示微調整モデルシリーズに焦点を当てている。これらのモデルは、テレビシリーズの全エピソード、88の国際天文学連合星座、151の初代ポケモンなど、大量の事実を列挙するよう求めるプロンプトに対して、再現可能な失敗を示す。つまり、逐語的なタイトなループに陥るか、リストの項目が単一の回答に減衰していく。このループの発生率は最大95%に達し、プロンプトの言い換え、推論エンジンの変更、ほとんどのサンプリング調整に対して堅牢である。
ループの原因を特定するため、著者らは層ごとのアブレーションとニューロンごとのアトリビューションを使用し、最も有力な候補を完全生成スイープで確認した。ループは少数のMLPニューロン（26B-A4B Mixture-of-Expertsモデルでは少数のルーティングエキスパート）に起因し、静的的重み編集で抑制される。これらの「手術」は非常に小規模にできる。E2Bモデルでは、単一のニューロンの符号を反転させるだけで済む。有効な編集のサイズはモデルスケールとともに増加するが、すべての場合において、ループパターンは通常の生成予算内で対処でき、汎用ベンチマークスコアも維持される。
しかし、重み編集は万能ではない。著者らはさらに長い思考予算のシナリオを研究しており、そこでは2つの大きなモデルが最も顕著に「doom loop」に陥る。これは、モデルが思い出せない事実について自己修正を繰り返し、最終回答を確定しないまま予算を使い果たす非収束状態である。同じ編集によってこの残余障害は減少するが、排除されないことを示している。著者らは、これが本質的に除去可能な回路ではなく知識精度の問題であると主張する。重み手術はループを削除できるが、欠落した事実を提供することはできない。
この研究の意義は二重である。第一に、具体的な生成病理が少数のパラメータに局在し、編集によって除去可能であるという実現可能性の証明を提供する。第二に、このアプローチの限界を明確に描き出している。論文は機械学習（cs.LG）および人工知能（cs.AI）に分類され、全文はarXivからDOI 10.48550/arXiv.2606.13705で入手可能である。