AI News HubLIVE
站内改写1 分鐘閱讀

AI記憶痕跡:探索人工智能中的記憶蹤跡

該研究引入幾何框架,將神經科學的特異性、再激活、充分性和必要性標準形式化為約束逆問題,從而識別深度神經網絡中的“AI記憶痕跡”。研究者推導出閉式估計器,可從全局糾纏參數中隔離單個記憶痕跡,並證明該生物學啓發的解對應參數流形上的自然梯度更新。AI記憶痕跡支持通過線性算術對記憶進行手術級操作(組合或刪除),無需迭代優化。實驗涵蓋簡單MLP到大型語言模型,展示了因果有效性和可擴展性。該工作橋接了生物記憶理論與人工表徵學習。

來源arXiv AI作者: Jea Kwon, Dong-Kyum Kim, Jiwon Kim, Yonghyun Kim, Woong Kook, Meeyoung Cha

近日,一項發表於ICML 2026(口頭報告)的研究提出了“AI記憶痕跡”的概念,旨在探索深度神經網絡中是否存在類似生物記憶單元的、可識別的記憶痕跡。該工作由Jea Kwon等六位作者完成,論文標題為《AI Engram: In Search of Memory Traces in Artificial Intelligence》。

記憶形成是智能的基礎,但深度神經網絡是否能在其參數中保留獨立的記憶痕跡一直是一個懸而未決的問題。研究團隊引入了一個創新性的幾何框架,將神經科學領域關於記憶的四個關鍵標準——特異性、再激活、充分性和必要性——形式化為一個約束逆問題。通過求解該問題,他們得到了一個閉式估計器,能夠從全局糾纏的網絡參數中隔離出與單個記憶對應的向量。研究人員進一步證明,這一生物學啓發的解實際上等價於參數流形上的自然梯度更新,這為理解記憶在神經網絡中的存儲方式提供了新的幾何視角。

AI記憶痕跡的一個關鍵應用是手術級的知識操作:任何子集的記憶都可以通過簡單的線性算術進行組合或刪除,而無需進行耗時的迭代優化。這一特性使得對已學習知識的精確控制成為可能,類似於在生物大腦中定位和修改特定記憶。實驗從簡單的多層感知機(MLP)擴展到大型語言模型(LLM),充分驗證了該方法的因果有效性和顯著的可擴展性。

本研究不僅橋接了生物記憶理論與人工表徵學習,還為深度網絡如何在分佈式存儲中同時支持功能特異性提供了深刻的幾何見解。論文代碼已公開,並獲得了ICML 2026的接受作為口頭報告,彰顯了其在人工智能領域的重要性。