AI記憶系統如何在大規模下失效

AI記憶系統在向大規模應用演進時，面臨著一系列結構性失效模式。這些失效並非偶然，而是源於根本性的設計缺陷。本文以Tenure團隊的研究為基礎，詳細闡述了四種核心失效機制，並提出了一種基於詞彙啟動效應的替代方案。

失效模式一：餘弦相似度無法區分領域內信念 在任何技術領域內，所有相關信念都聚集在相似的語義空間。例如，關於Redis的查詢不僅會返回目標信念，還會同時匹配MongoDB、TypeScript、Kubernetes等完全無關但語義相近的信念。餘弦得分在這些信念間可達0.65至0.83，但相關性卻天差地別。測試表明，即使將嵌入模型從768維擴充套件到4096維（引數規模增長20倍），平均檢索精度仍穩定在0.09，所有活躍檢索嘗試均告失敗。這說明問題不在於模型能力，而在於餘弦相似度本身不適用於領域內規範化詞彙環境的精密檢索。

失效模式二：提取質量無法預測檢索精度 一個反直覺的發現是：即使提取階段完美保留了所有關鍵事實，檢索階段仍然可能失敗。例如，一個關於認證服務依賴Redis的信念被高質量提取並儲存，但當查詢“認證服務的依賴和故障模式”時，系統正確返回該信念的同時，還附加了16個無關信念（如lint配置、React水平、Vitest偏好等），檢索精度跌至0.056。提取與檢索在架構上解耦，提升提取質量無法解決檢索層的結構性汙染。

失效模式三：會話漂移在多輪對話中累積噪聲 單輪檢索指標掩蓋了會話級失效。在10輪會話中，系統先建立主題，隨後插入8輪無關話題，最後在第9輪隱式迴歸原主題。測試顯示，現有系統的漂移得分（重入時來自漂移輪的信念比例）高達0.92至1.0，而理想值為0.0。即使是帶有交叉編碼器重排序的系統，在第10輪漂移得分仍達0.94，且正確信念完全缺失。重排序器無法彌補餘弦幾何的根本缺陷。

失效模式四：延遲指標隱藏會話級退化 公開的延遲基準幾乎全部報告單輪數值。在會話負載下，某系統的單輪平均延遲從672ms飆升至2,736ms，P95超過6,000ms。更嚴重的是寫入延遲：基於圖的架構處理35條信念需897秒，即每信念25,630ms。在典型對話節奏（10-30秒/輪）下，第1輪引入的信念可能在會話結束時才可用。

替代方案：基於詞彙啟動的檢索訊號 所有失效模式的根本原因在於餘弦相似度是錯誤的主檢索訊號。解決方案利用一個關鍵特性：單個說話者在1-2年內保持穩定且獨特的詞彙選擇。如果使用者用“kubernetes”、“k8s”、“kube”指代同一信念，那麼查詢中包含任意別名時，基於別名加權BM25的檢索即可精準返回目標信念。這一方案透過硬作用域隔離、別名豐富飛輪、廢棄鏈和壓縮機制，實現了精度隨使用提升。儘管首次遇到新術語時會返回空結果，但提取器會將其捕獲為別名，後續查詢即可正確解析。這是一個與語義搜尋相反的精度飛輪：記憶庫越大，別名集越豐富，檢索精度越高。

Tenure團隊的核心結論是：不是要更好的嵌入模型，而是需要一個完全不同的測量工具。