大型語言模型在訓練完成後便凍結其知識狀態，然而現實世界的信息卻在持續更新。傳統上，為了更新模型中的過時或錯誤知識，通常需要重新訓練整個模型，但這種方法成本高昂且效率低下。知識編輯技術因此應運而生，它旨在以最小的代價修改模型中的特定事實，而無需重新訓練。然而，現有知識編輯方法在部署時面臨一個關鍵瓶頸：它們雖然能夠很好地保留模型的事實性記憶（例如百科知識），卻常常導致數學推理和編程推理等核心能力的嚴重退化。這種現象被稱為非對稱退化。研究人員將這種退化歸因於分佈不匹配：基於協方差的知識編輯方法（如MEMIT和AlphaEdit）在計算保持協方差時，依賴於一個靜態的參考語料庫（比如維基百科），這個語料庫所跨越的子空間並不能代表模型在微調（SFT）和直接偏好優化（DPO）等後訓練階段所形成的操作分佈。因此，編輯後的模型在非事實性任務上的表現急劇下降。
為了解決這個問題，來自韓國科學技術院（KAIST）的研究團隊提出了Moir方法。Moir的核心創新在於，它不再依賴外部的靜態語料庫來估計保持協方差，而是直接從模型自身的解碼分佈中進行採樣。具體來説，Moir使用一個隨機詞彙標記作為生成種子，繞過指令遵循模板對採樣輸出的主導作用，從而暴露模型內化的更廣泛子空間。通過這種方式，Moir能夠估計出更符合模型實際操作分佈的保持協方差C。該方法無需任何外部數據，可以作為一個即插即用的組件無縫集成到任何基於協方差的編輯器中。這一特性在實際部署中極具優勢，因為大多數現代LLM的預訓練和後訓練語料庫並不公開。
研究團隊在多個模型上進行了廣泛評估，包括OLMo-2、Llama-3.1和Qwen-3（參數量在7B到8B之間），並測試了兩種主流的編輯方法MEMIT和AlphaEdit，同時涵蓋了批量編輯和順序編輯兩種模式。實驗結果表明，Moir在所有設置下均能一致地擴展最脆弱領域（即數學和編程推理）的保留能力。最令人印象深刻的結果出現在Qwen3-8B模型上：在使用AlphaEdit進行20000次批量知識編輯後，採用維基百科基線的方法僅保留了10.9%的GSM8K準確率，而Moir方法則保留了高達79.9%的準確率，提升幅度超過7倍。這一結果有力地證明了將保持分佈與模型的操作分佈對齊是非破壞性知識編輯的關鍵因素。
Moir的提出為知識編輯領域提供了一種全新的視角，即模型本身可能就是最易於獲取的、最能代表其操作分佈的數據來源。這對於那些無法獲取原始訓練數據的部署系統來説尤其重要。未來，研究團隊計劃進一步探索Moir在更大規模模型和更復雜編輯場景中的應用，並研究如何將其擴展到其他類型的知識編輯方法中。這項研究成果已經在2026年提交至arXiv預印本平台，論文編號為2607.20433。