大規模言語モデルは訓練後にその知識状態が固定されますが、現実世界の情報は絶えず変化しています。従来、モデル内の古い知識や誤った知識を更新するには、モデル全体を再訓練する必要がありましたが、この方法はコストが高く効率的ではありません。そこで知識編集技術が注目されています。知識編集は、特定の事実を最小限のコストで修正し、再訓練を不要にすることを目的としています。しかし、既存の知識編集手法は展開時に重要な障害に直面しています。事実記憶（百科事典的な知識）はよく保持される一方で、数学的推論やプログラミング推論といった中核的能力が著しく低下するという非対称的な劣化が観察されます。研究者らはこの劣化を分布の不一致に起因すると考えています。共分散ベースの編集手法（MEMITやAlphaEditなど）は、保存共分散を計算する際に静的な参照コーパス（例：ウィキペディア）に依存します。しかし、このコーパスが張る部分空間は、SFTやDPOなどの後訓練によって形成される操作分布を捉えることができません。その結果、編集後のモデルは事実以外のタスクで性能が急激に低下します。
この問題を解決するために、韓国科学技術院（KAIST）の研究チームはMoirを提案しました。Moirの核となる革新は、外部の静的コーパスに頼るのではなく、モデル自身のデコード分布から直接サンプリングして保存共分散を推定する点にあります。具体的には、単一のランダムな語彙トークンを生成シードとして使用し、指示追従テンプレートがサンプル出力を支配するのを回避することで、モデルが内部化したより広い部分空間を露出させます。これにより、Moirはモデルの実際の操作分布により適合した保存共分散Cを推定できます。この手法は外部データを一切必要とせず、任意の共分散ベース編集器にドロップインコンポーネントとして組み込むことができます。この特性は、ほとんどの最新LLMの事前・後訓練コーパスが公開されていない現実的な状況において大きな利点となります。
研究チームは、OLMo-2、Llama-3.1、Qwen-3（パラメータ数7B～8B）の複数のモデルに対して、MEMITとAlphaEditの2種類の編集手法、およびバッチ編集と順次編集の両方の設定で広範な評価を実施しました。実験結果は、Moirがすべての設定において最も脆弱な領域（数学およびプログラミング推論）の保存能力を一貫して向上させることを示しています。最も顕著な結果はQwen3-8Bモデルで得られました。AlphaEditを用いて20,000回のバッチ知識編集を行った後、ウィキペディアベースラインではGSM8K精度が10.9%しか維持されなかったのに対し、Moirでは79.9%の精度が維持され、7倍以上の向上を達成しました。この結果は、保存分布をモデルの操作分布と整合させることが非破壊的知識編集の鍵であることを強く示唆しています。
Moirの提案は、知識編集分野に新たな視点をもたらします。すなわち、モデル自身がその操作分布を最もよく表すデータ源であり、デプロイされたシステムにとって最もアクセスしやすい可能性があるということです。今後、研究チームはより大規模なモデルや複雑な編集シナリオへのMoirの適用を探求し、他のタイプの知識編集手法への拡張を研究する予定です。この研究成果は2026年にarXivプレプリントプラットフォームに投稿され、論文IDは2607.20433です。