AI记忆系统如何在大规模下失效

AI记忆系统在向大规模应用演进时，面临着一系列结构性失效模式。这些失效并非偶然，而是源于根本性的设计缺陷。本文以Tenure团队的研究为基础，详细阐述了四种核心失效机制，并提出了一种基于词汇启动效应的替代方案。

失效模式一：余弦相似度无法区分领域内信念 在任何技术领域内，所有相关信念都聚集在相似的语义空间。例如，关于Redis的查询不仅会返回目标信念，还会同时匹配MongoDB、TypeScript、Kubernetes等完全无关但语义相近的信念。余弦得分在这些信念间可达0.65至0.83，但相关性却天差地别。测试表明，即使将嵌入模型从768维扩展到4096维（参数规模增长20倍），平均检索精度仍稳定在0.09，所有活跃检索尝试均告失败。这说明问题不在于模型能力，而在于余弦相似度本身不适用于领域内规范化词汇环境的精密检索。

失效模式二：提取质量无法预测检索精度 一个反直觉的发现是：即使提取阶段完美保留了所有关键事实，检索阶段仍然可能失败。例如，一个关于认证服务依赖Redis的信念被高质量提取并存储，但当查询“认证服务的依赖和故障模式”时，系统正确返回该信念的同时，还附加了16个无关信念（如lint配置、React水平、Vitest偏好等），检索精度跌至0.056。提取与检索在架构上解耦，提升提取质量无法解决检索层的结构性污染。

失效模式三：会话漂移在多轮对话中累积噪声 单轮检索指标掩盖了会话级失效。在10轮会话中，系统先建立主题，随后插入8轮无关话题，最后在第9轮隐式回归原主题。测试显示，现有系统的漂移得分（重入时来自漂移轮的信念比例）高达0.92至1.0，而理想值为0.0。即使是带有交叉编码器重排序的系统，在第10轮漂移得分仍达0.94，且正确信念完全缺失。重排序器无法弥补余弦几何的根本缺陷。

失效模式四：延迟指标隐藏会话级退化 公开的延迟基准几乎全部报告单轮数值。在会话负载下，某系统的单轮平均延迟从672ms飙升至2,736ms，P95超过6,000ms。更严重的是写入延迟：基于图的架构处理35条信念需897秒，即每信念25,630ms。在典型对话节奏（10-30秒/轮）下，第1轮引入的信念可能在会话结束时才可用。

替代方案：基于词汇启动的检索信号 所有失效模式的根本原因在于余弦相似度是错误的主检索信号。解决方案利用一个关键特性：单个说话者在1-2年内保持稳定且独特的词汇选择。如果用户用“kubernetes”、“k8s”、“kube”指代同一信念，那么查询中包含任意别名时，基于别名加权BM25的检索即可精准返回目标信念。这一方案通过硬作用域隔离、别名丰富飞轮、废弃链和压缩机制，实现了精度随使用提升。尽管首次遇到新术语时会返回空结果，但提取器会将其捕获为别名，后续查询即可正确解析。这是一个与语义搜索相反的精度飞轮：记忆库越大，别名集越丰富，检索精度越高。

Tenure团队的核心结论是：不是要更好的嵌入模型，而是需要一个完全不同的测量工具。