大型语言模型在训练完成后便冻结其知识状态，然而现实世界的信息却在持续更新。传统上，为了更新模型中的过时或错误知识，通常需要重新训练整个模型，但这种方法成本高昂且效率低下。知识编辑技术因此应运而生，它旨在以最小的代价修改模型中的特定事实，而无需重新训练。然而，现有知识编辑方法在部署时面临一个关键瓶颈：它们虽然能够很好地保留模型的事实性记忆（例如百科知识），却常常导致数学推理和编程推理等核心能力的严重退化。这种现象被称为非对称退化。研究人员将这种退化归因于分布不匹配：基于协方差的知识编辑方法（如MEMIT和AlphaEdit）在计算保持协方差时，依赖于一个静态的参考语料库（比如维基百科），这个语料库所跨越的子空间并不能代表模型在微调（SFT）和直接偏好优化（DPO）等后训练阶段所形成的操作分布。因此，编辑后的模型在非事实性任务上的表现急剧下降。
为了解决这个问题，来自韩国科学技术院（KAIST）的研究团队提出了Moir方法。Moir的核心创新在于，它不再依赖外部的静态语料库来估计保持协方差，而是直接从模型自身的解码分布中进行采样。具体来说，Moir使用一个随机词汇标记作为生成种子，绕过指令遵循模板对采样输出的主导作用，从而暴露模型内化的更广泛子空间。通过这种方式，Moir能够估计出更符合模型实际操作分布的保持协方差C。该方法无需任何外部数据，可以作为一个即插即用的组件无缝集成到任何基于协方差的编辑器中。这一特性在实际部署中极具优势，因为大多数现代LLM的预训练和后训练语料库并不公开。
研究团队在多个模型上进行了广泛评估，包括OLMo-2、Llama-3.1和Qwen-3（参数量在7B到8B之间），并测试了两种主流的编辑方法MEMIT和AlphaEdit，同时涵盖了批量编辑和顺序编辑两种模式。实验结果表明，Moir在所有设置下均能一致地扩展最脆弱领域（即数学和编程推理）的保留能力。最令人印象深刻的结果出现在Qwen3-8B模型上：在使用AlphaEdit进行20000次批量知识编辑后，采用维基百科基线的方法仅保留了10.9%的GSM8K准确率，而Moir方法则保留了高达79.9%的准确率，提升幅度超过7倍。这一结果有力地证明了将保持分布与模型的操作分布对齐是非破坏性知识编辑的关键因素。
Moir的提出为知识编辑领域提供了一种全新的视角，即模型本身可能就是最易于获取的、最能代表其操作分布的数据来源。这对于那些无法获取原始训练数据的部署系统来说尤其重要。未来，研究团队计划进一步探索Moir在更大规模模型和更复杂编辑场景中的应用，并研究如何将其扩展到其他类型的知识编辑方法中。这项研究成果已经在2026年提交至arXiv预印本平台，论文编号为2607.20433。