事前学習済み言語モデルを新しいタスクに適応させる際、既存の汎用能力が損なわれる「破滅的忘却」という問題がよく発生します。スパースメモリファインチューニング（SMF）は、この問題に対処するために、モデルにキー・バリューメモリ層を追加し、各訓練バッチで最も読み取りが多いメモリ行だけを更新する手法です。この戦略により、訓練中に変更されるパラメータはごく一部にとどまり、モデルの事前学習知識の大部分が保持されます。
実験では、SMFをQwen-2.5-0.5B-Instructモデルに実装し、4択の医療試験タスクであるMedMCQAで評価しました。忘却の測定にはWikiTextのパープレキシティとTriviaQAの精度を使用しました。その結果、SMFはMedMCQAの精度を2.5パーセントポイント向上させ、両方の忘却プローブをベースモデルから約1ポイント以内に維持しました。一方、LoRAとフルファインチューニングはより大きな改善（それぞれ約4ポイント）を示したものの、忘却プローブに明確なドリフトが生じ、モデルの汎用能力が損なわれたことが示唆されました。
また、行選択ルールとしてKLダイバージェンスとTF-IDFの2つを比較しました。KLダイバージェンスは現在のタスクに関連するが忘却しやすい知識を保持する傾向があり、TF-IDFはより汎用的な情報を記憶から検索します。これらは忘却の2つの指標に対して異なるバランスを提供し、用途に応じて選択できます。例えば、タスク特化の精度を重視する場合はKLダイバージェンス、汎用能力の維持を優先する場合はTF-IDFが適している可能性があります。
SMFはタスク適応とモデルの汎用能力維持のバランスを取る有効な方法です。LoRAやフルファインチューニングほどの性能向上は得られないものの、忘却リスクが大幅に低減されるため、元の能力を重視する用途に適しています。今後の研究では、様々な規模や種類のモデルでのSMFの性能や、より効率的な行選択戦略の探求が期待されます。また、他のパラメータ効率的な微調整手法との組み合わせも検討価値があります。SMFは、破滅的忘却問題に対する有望な代替手段を提供し、特にモデルの基盤能力を維持しながら特定タスクに最適化する必要があるケースに有用です。