基于广义瑞利商优化的基础模型保持适应方法

近年来，大型基础模型在众多自然语言处理和代码生成任务中展现出卓越能力。然而，当这些模型被微调以适应特定下游任务时，它们往往会丢失在预训练阶段获得的泛化能力，这种现象被称为“灾难性遗忘”。现有的遗忘感知方法通常通过特殊的初始化或固定的约束来寻找更安全的更新方向，但无法在训练过程中动态调节适应与保持之间的权衡。针对这一挑战，来自韩国科学技术院（KAIST）等机构的研究团队提出了一种名为FoLoRA（Foundation Preserving LoRA）的新型遗忘感知优化框架。

FoLoRA的核心创新在于利用广义瑞利商来评估每个更新方向的任务效用与遗忘惩罚之比。具体而言，该框架首先基于一阶保持条件定义了遗忘惩罚和任务效用：遗忘惩罚通过预训练代理激活来计算，而任务效用则通过下游任务激活来衡量。然后，它通过广义瑞利商计算每个更新方向的任务效用与遗忘惩罚的比率，从而得到一个谱坐标系。在这个坐标系中，FoLoRA引入了方向门控机制，在Adam优化器中衰减那些低效用-惩罚比的更新方向，从而动态调节适应与保持的平衡。

与以往依赖固定代理数据集的方法不同，FoLoRA通过从预训练模型本身采样来构建代理校准数据。这种方法不仅避免了单一数据集可能带来的偏差，还能更准确地估计遗忘惩罚，从而提高了方法的泛化性。研究团队在数学推理、代码生成和指令跟随等下游任务上进行了广泛实验。结果表明，FoLoRA在目标任务性能上超越了现有基线，同时在保持非目标能力方面取得了最佳的整体平衡。例如，在数学推理任务中，FoLoRA在保持模型原有代码生成能力的同时，显著提升了数学问题解决的准确率。

这项工作的意义在于，它为遗忘感知的微调提供了新的视角和实用工具。通过动态调节适应与保持的权衡，FoLoRA使得基础模型在适应新任务时能够更好地保留其预训练中获得的广泛能力。该方法的代码和详细论文已在arXiv上公开（arXiv:2606.00132），为后续研究提供了坚实的基础。