小規模言語モデル（SLM）は、リソース制約のある環境で継続学習を行う際、破滅的忘却が重大な課題となっています。Dong Liらの研究チームが提案したMIITA（Memory-Induced Inference-Time Adaptation）フレームワークは、この問題に対処する新しい手法を提供します。MIITAは、教師あり継続学習のためのメモリ駆動型推論時適応手法であり、経験を意味アンカー付きのコンパクトな修正方向プロトタイプとして保存します。推論時には、意味的類似性と不確実性の手がかりに基づいて適切なプロトタイプを検索し、ゲート付き一時的隠れ状態適応を通じて適用します。このプロセスは、バックボーンの更新、プロンプトの拡張、テスト時の逆伝播を一切必要としません。
理論的解析により、MIITAの設計は一次の損失削減、不確実性に基づく検索、方向カバレッジと結びついており、過去の知識を保持するのに有効であることが示されています。多様な教師あり継続学習設定（タスク増分学習、クラス増分学習、ドメイン増分学習）での広範な実験により、固定メモリ予算下で最終性能を一貫して改善し、忘却を効果的に軽減することが確認されました。例えば、GLUEベンチマークのサブタスクでは、従来の微調整やメモリリプレイ法と比較して、旧タスクの精度を維持しつつ新タスクへの適応速度が向上しました。MIITAはモデルアーキテクチャの変更を必要とせず、メモリプロトタイプと推論時適応のみで知識転移を実現するため、ストレージが限られたエッジデバイスやIoT機器への展開に適しています。研究チームはコードを公開しており、コミュニティによる検証と応用が期待されます。