为什么你的生产级RAG系统会逐渐变差

生产级RAG系统很少因为单一的灾难性事件而突然失败。更常见的是，可靠性通过一系列操作变化逐渐被侵蚀：文档不断演变，检索行为偏移，提示被修改，依赖项变化，评估数据集变得过时。

传统工程实践通常按照系统组件来分类故障——检索器、提示、向量数据库或语言模型。虽然这对实现有用，但对长期运行生产AI系统的指导有限。因此，本文提出了一个基于三个互补维度的可靠性框架。

第一维度：故障动态 当RAG事件发生时，工程师首先应问的不是什么出了问题，而是可靠性如何随时间变化。传统软件系统围绕离散故障设计，而生产RAG系统的可靠性往往是连续变化的。故障动态包括：

• 即时型：离散系统变更后立即出现，如部署或提示修订后正确率骤降。
• 渐进型：通过一系列单独无害的变更累积，如文档演变、检索行为偏移。
• 阈值型：累积变化超过临界边界后突然爆发，稳定性看似良好直到达到临界点。
• 振荡型：类似条件下表现不一致，依赖于输入分布、检索排序或模型随机性。
• 级联型：局部缺陷通过下游阶段传播放大，如检索错误影响规划，进而影响工具选择和记忆更新。

第二维度：可靠性控制面 识别故障动态后，下一步是确定在哪里干预。控制面包括：

• 知识面：语料库质量，如移除过期文档、消除重复、纠正不一致。
• 检索面：检索算法、分块策略、嵌入模型、元数据过滤器、重排序器等。
• 生成面：提示设计、模型选择、解码策略和结构化输出约束。
• 评估面：通过自动基准、回归测试和生产监控建立质量关卡。
• 操作面：版本管理、部署策略、监控、流量路由和事件响应。

第三维度：可检测性 并非所有故障都同样可见。有些立即触发监控，而有些隐藏在看似成功的请求和流畅的模型响应之后。故障的成本不仅取决于严重性，还取决于未被发现的时间长度。传统软件有完善的观测性，但生产AI系统中，一个请求可能成功完成、延迟稳定、无基础设施警报，然而答案质量仍在恶化。因此，正确性而非可用性成为主要操作关注点。

实验与意义 文章通过一个控制实验模拟了七周的文档逐渐演变，展示了渐进知识漂移这一典型故障类，并解释了为何它常逃过传统操作监控。实验表明，即使每个单独变化无害，累积效应也会缓慢侵蚀检索精度和回答质量。

总之，生产级RAG系统的可靠性问题需要从知识质量持续保障的角度来理解，而非仅仅是系统正确性。该框架为工程师提供了推理和应对生产AI故障的通用语言。