预训练语言模型在适应新任务时常常会损害其已有的通用能力，这种现象被称为灾难性遗忘。为了解决这一问题，研究者提出了稀疏记忆微调（Sparse Memory Finetuning, SMF）方法。SMF通过在模型中添加额外的键值记忆层，并在每个训练步骤中仅更新当前批次读取最频繁的记忆行，从而在保持模型原有能力的同时进行任务适配。这种机制的核心思想是，模型在训练过程中只修改与当前任务最相关的少量记忆单元，而大多数记忆参数保持不变，从而最大程度地保留预训练知识。
在实验中，研究人员将SMF应用于Qwen-2.5-0.5B-Instruct模型，并在MedMCQA（一个四选一的医学考试任务）上进行测试。为了衡量遗忘程度，他们使用了WikiText困惑度（perplexity）和TriviaQA准确率作为遗忘探针。结果显示，SMF在MedMCQA上提升了2.5个百分点，同时两个遗忘探针的指标与基础模型相比变化均在1个百分点以内。相比之下，LoRA和全微调虽然带来了更大的性能提升（分别提升了约4个百分点），但两个遗忘探针均出现了明显的漂移，表明模型在原有能力上发生了较大变化。
此外，研究还比较了两种行选择规则：基于KL散度和基于TF-IDF。这两种规则在平衡两个遗忘指标上展现了不同的特性。KL散度规则更注重保留与当前任务相关但易遗忘的知识，而TF-IDF规则则倾向于从记忆中检索更通用的信息。每种规则都有其适用范围，具体选择取决于应用场景对遗忘的不同容忍度。例如，在某些严格要求保留常识能力的场景中，TF-IDF规则可能更合适；而在需要精准适配新任务的场景中，KL散度规则可能表现更优。
SMF提供了一种在任务适配与保持模型通用能力之间取得平衡的有效途径。尽管其性能提升略低于LoRA和全微调，但显著降低了遗忘风险，特别适用于对模型原有能力要求较高的场景。未来的工作可以进一步探索SMF在不同规模和不同类型模型上的表现，以及更高效的行选择策略。此外，还可以研究如何将SMF与其他参数高效微调方法结合，以进一步提升性能。总体而言，SMF为灾难性遗忘问题提供了一个具有潜力的新视角，尤其适合那些需要在保持模型基础能力的同时进行特定任务优化的应用。