預訓練語言模型在適應新任務時常常會損害其已有的通用能力，這種現象被稱為災難性遺忘。為了解決這一問題，研究者提出了稀疏記憶微調（Sparse Memory Finetuning, SMF）方法。SMF透過在模型中新增額外的鍵值記憶層，並在每個訓練步驟中僅更新當前批次讀取最頻繁的記憶行，從而在保持模型原有能力的同時進行任務適配。這種機制的核心思想是，模型在訓練過程中只修改與當前任務最相關的少量記憶單元，而大多數記憶引數保持不變，從而最大程度地保留預訓練知識。
在實驗中，研究人員將SMF應用於Qwen-2.5-0.5B-Instruct模型，並在MedMCQA（一個四選一的醫學考試任務）上進行測試。為了衡量遺忘程度，他們使用了WikiText困惑度（perplexity）和TriviaQA準確率作為遺忘探針。結果顯示，SMF在MedMCQA上提升了2.5個百分點，同時兩個遺忘探針的指標與基礎模型相比變化均在1個百分點以內。相比之下，LoRA和全微調雖然帶來了更大的效能提升（分別提升了約4個百分點），但兩個遺忘探針均出現了明顯的漂移，表明模型在原有能力上發生了較大變化。
此外，研究還比較了兩種行選擇規則：基於KL散度和基於TF-IDF。這兩種規則在平衡兩個遺忘指標上展現了不同的特性。KL散度規則更注重保留與當前任務相關但易遺忘的知識，而TF-IDF規則則傾向於從記憶中檢索更通用的資訊。每種規則都有其適用範圍，具體選擇取決於應用場景對遺忘的不同容忍度。例如，在某些嚴格要求保留常識能力的場景中，TF-IDF規則可能更合適；而在需要精準適配新任務的場景中，KL散度規則可能表現更優。
SMF提供了一種在任務適配與保持模型通用能力之間取得平衡的有效途徑。儘管其效能提升略低於LoRA和全微調，但顯著降低了遺忘風險，特別適用於對模型原有能力要求較高的場景。未來的工作可以進一步探索SMF在不同規模和不同型別模型上的表現，以及更高效的行選擇策略。此外，還可以研究如何將SMF與其他引數高效微調方法結合，以進一步提升效能。總體而言，SMF為災難性遺忘問題提供了一個具有潛力的新視角，尤其適合那些需要在保持模型基礎能力的同時進行特定任務最佳化的應用。