沒有人願意解決的AI記憶問題
本文探討了長期運行的AI系統中的上下文漂移問題，指出真正的挑戰不是模型能力的限制，而是架構設計導致的記憶退化，即架構幻覺。文章對比了LLM幻覺與架構幻覺，並提出了結構化記憶作為解決方案。
在構建AI信號智能日誌應用MetaOpAI的過程中，作者遇到了一個核心問題：為什麼AI的記憶會隨着使用時間變長而越來越差？這並非因為模型突然變笨，也不是上下文窗口太小。深層原因在於，大多數AI系統將聊天曆史、摘要、檢索和當前上下文混為一談，誤認為是真正的記憶。這種方式在短對話中尚可，但當系統需要長期理解一個人時，就會崩潰。長時間的壓縮與迭代導致AI不再是基於用户原話推理，而是基於對先前解釋的再解釋——這就是記憶漂移的根源。
本文區分了兩種幻覺：LLM幻覺（模型捏造事實）和架構幻覺（系統將自身衍生輸出再次輸入，導致上下文退化）。架構幻覺是應用架構問題，完全在開發者控制範圍內。其危害在於，系統看似連貫，實則逐漸偏離用户真實語境，最終用自身累積的解讀取代了用户的現實。
作者指出，單純擴大上下文窗口或使用RAG（檢索增強生成）並不能解決根本問題。RAG適用於事實檢索，但會丟失個人語境中的細節（如精確措辭、時間戳、矛盾等）。真正的解決方案是結構化記憶：將用户輸入轉換為獨立的記憶記錄，通過提取防護欄明確存儲內容，並在生成響應前僅檢索當前任務相關的記錄。記憶層應區分“上下文”（事實）和“元上下文”（用户對事實的解讀），並用置信度評分處理矛盾信息。
這種架構借鑑了計算機體系結構：LLM相當於CPU，上下文窗口相當於緩存。持久化存儲和內存控制器才是長期記憶的關鍵。唯有將可信源置於模型之外，才能避免架構幻覺，實現真正的AI記憶。