為什麼你的生產級RAG系統會逐漸變差

生產級RAG系統很少因為單一的災難性事件而突然失敗。更常見的是，可靠性透過一系列操作變化逐漸被侵蝕：文件不斷演變，檢索行為偏移，提示被修改，依賴項變化，評估資料集變得過時。

傳統工程實踐通常按照系統元件來分類故障——檢索器、提示、向量資料庫或語言模型。雖然這對實現有用，但對長期執行生產AI系統的指導有限。因此，本文提出了一個基於三個互補維度的可靠性框架。

第一維度：故障動態 當RAG事件發生時，工程師首先應問的不是什麼出了問題，而是可靠性如何隨時間變化。傳統軟體系統圍繞離散故障設計，而生產RAG系統的可靠性往往是連續變化的。故障動態包括：

• 即時型：離散系統變更後立即出現，如部署或提示修訂後正確率驟降。
• 漸進型：透過一系列單獨無害的變更累積，如文件演變、檢索行為偏移。
• 閾值型：累積變化超過臨界邊界後突然爆發，穩定性看似良好直到達到臨界點。
• 振盪型：類似條件下表現不一致，依賴於輸入分佈、檢索排序或模型隨機性。
• 級聯型：區域性缺陷透過下游階段傳播放大，如檢索錯誤影響規劃，進而影響工具選擇和記憶更新。

第二維度：可靠性控制面 識別故障動態後，下一步是確定在哪裡干預。控制麵包括：

• 知識面：語料庫質量，如移除過期文件、消除重複、糾正不一致。
• 檢索面：檢索演算法、分塊策略、嵌入模型、後設資料過濾器、重排序器等。
• 生成面：提示設計、模型選擇、解碼策略和結構化輸出約束。
• 評估面：透過自動基準、迴歸測試和生產監控建立質量關卡。
• 操作面：版本管理、部署策略、監控、流量路由和事件響應。

第三維度：可檢測性 並非所有故障都同樣可見。有些立即觸發監控，而有些隱藏在看似成功的請求和流暢的模型響應之後。故障的成本不僅取決於嚴重性，還取決於未被發現的時間長度。傳統軟體有完善的觀測性，但生產AI系統中，一個請求可能成功完成、延遲穩定、無基礎設施警報，然而答案質量仍在惡化。因此，正確性而非可用性成為主要操作關注點。

實驗與意義 文章透過一個控制實驗模擬了七週的文件逐漸演變，展示了漸進知識漂移這一典型故障類，並解釋了為何它常逃過傳統操作監控。實驗表明，即使每個單獨變化無害，累積效應也會緩慢侵蝕檢索精度和回答質量。

總之，生產級RAG系統的可靠性問題需要從知識質量持續保障的角度來理解，而非僅僅是系統正確性。該框架為工程師提供了推理和應對生產AI故障的通用語言。