MIITA（Memory-Induced Inference-Time Adaptation）是一項由Dong Li等人提出的創新框架，旨在解決小語言模型（SLM）在資源受限環境下進行持續學習時面臨的災難性遺忘問題。持續學習對於SLM適應不斷變化的應用場景至關重要，但直接更新其有限的引數往往導致之前學到的知識被覆蓋。儘管基於記憶的方法透過將知識儲存與引數更新解耦來緩解這一問題，但現有針對大語言模型（LLM）的方法通常需要大量儲存空間和強大的上下文推理能力，這超出了SLM的能力範圍。
MIITA透過一種全新的思路應對這一挑戰。它設計了一種緊湊的修正方向原型，併為每個原型附加語義錨點，從而以極低的儲存成本編碼重要的監督經驗。在推理階段，MIITA利用語義相似性和不確定性線索從記憶庫中檢索最相關的原型。檢索到的修正方向透過門控機制對模型的隱藏狀態進行臨時調整，從而在不修改骨幹網路引數、不增加提示、也不進行測試時反向傳播的情況下，實現過去知識的安全複用。
理論分析表明，MIITA的設計與一階損失減少、不確定性引導的檢索以及方向覆蓋密切相關，這有助於系統性地保留舊任務的知識。實驗涵蓋了多種持續學習場景，包括任務增量學習、類別增量學習和領域增量學習。在多個自然語言處理基準測試中，MIITA表現出一致的效能提升。例如，在GLUE子任務上，相比於直接微調和傳統的記憶重放方法，MIITA在保持舊任務準確率的同時，顯著提高了新任務的適應速度。其核心優勢在於無需改變模型架構，僅透過記憶原型和推理時適配即可實現知識遷移。此外，MIITA的記憶體佔用遠低於基於完整樣本重放的方法，使其非常適合在儲存受限的裝置上執行。研究團隊還開源了相關程式碼，以便社群進一步驗證和應用。這項研究不僅為小模型的持續學習奠定了理論依據，也為實際部署提供了可行的技術路徑。