大多數檢索系統對所有查詢執行單一管道，這是錯誤的預設設定：單次遍歷對困難查詢服務不足，而對每個查詢都進行重排序或重寫則在簡單查詢上浪費計算。更糟糕的是，單次遍歷會靜默失敗。當相關文件從未到達頂部時，系統仍然從其獲取的任何內容中給出答案，沒有任何跡象表明出了問題。
昂貴的修復方法（如交叉編碼器、ColBERT晚互動、查詢重寫和解構）已廣為人知，因此真正的問題是什麼時候使用它們：理想情況下，在支付任何費用之前廉價地捕捉到弱檢索，並且只升級需要升級的查詢。但是，什麼能廉價地告訴你檢索是弱的？這取決於你的檢索如何失敗，我們在三個語料庫上進行了測量。
弱檢索的定義
檢測弱檢索始於一個可測量的定義。只有前幾個結果被使用：提供給模型的前k個塊或向使用者顯示的頁面。稱之為視窗。好的檢索將查詢所需的所有證據放入視窗；檢索是弱的，即使更深的召回率看起來很好，只要缺少一個證據。
將視窗設定為你係統消耗的任何大小。在標記分割中，你知道每個查詢需要哪些文件，弱是一個你可以預測的二元標籤。
廉價訊號
訊號是從結果中計算出的預測弱證據的數字。兩個標準：它在標記資料上區分好的檢索和弱的檢索；並且它足夠廉價，可以在每個查詢上執行。“廉價”排除了明顯的做法：在每個查詢上詢問LLM“這足夠嗎？”會增加一個模型呼叫到你正在保護的路徑。這裡的訊號讀取檢索器已經返回的內容，或者最多一次額外的Qdrant查詢。熱路徑中沒有LLM。
這些訊號都不是新的：預測檢索是否成功是查詢效能預測（QPP），而dense_variance接近其未歸一化的查詢承諾。貢獻不是新的預測器，而是哪些已知的預測器值得其成本，以及適用於哪種語料庫。
系列的訊號包括：高度（最大分數）、分散度（稠密方差）、覆蓋率（證據覆蓋率）和一致性（稠密與稀疏或稠密模型間）。直覺是：自信的檢索器將其頂部分數分散開；迷失的檢索器將它們聚攏。覆蓋率檢查查詢中的實體是否出現在檢索到的文本中。一致性是指當兩個檢索器或兩個稠密模型返回不同的文件時，其中一個通常是迷失的，尤其是在術語和詞彙表外術語上。
訊號的計算方式
分散訊號是檢索器分數的總體方差。dense_variance讀取原始稠密排序，一次額外的Qdrant查詢重用你已經嵌入的查詢向量，因此沒有額外的模型呼叫。兩種一致性訊號都是前k集合重疊。retriever_divergence比較稠密和稀疏排序；dense_agreement平均兩個或多個獨立稠密模型的重疊。無論哪種方式，不一致意味著弱檢索。
一致性訊號不是免費的：dense_agreement執行額外的稠密模型，每個查詢幾個嵌入。但仍然比LLM判斷便宜得多。
哪些訊號觸發取決於失敗模式
透過AUC（0.5隨機，1.0完美）評估每個訊號在標記分割上區分好與弱檢索的能力。我們在三個不同失敗方式的語料庫上執行了所有訊號：MuSiQue（多跳QA）和BEIR集合中的NFCorpus（醫學術語）和SciFact（科學主張）。
沒有單一訊號在所有三個上都是最好的，哪些訊號值得計算取決於語料庫的失敗方式：
詞彙不匹配（NFCorpus）：在這個語料庫中，術語和詞彙表外術語似乎使稠密和稀疏模型以及獨立稠密模型在弱查詢上不一致。一致性訊號從接近隨機上升到0.73到0.76，與分散度持平，這是測量它們值得的唯一情況。
排序精度（SciFact）：正確文件被檢索但排名太低。分散度和高度捕捉到它（0.75到0.76）；一致性訊號沒有貢獻。
可達性（MuSiQue）：答案需要一個查詢無法表達的跳轉，因此第一次檢索看起來自信即使錯誤。最佳廉價訊號僅達到0.73，一致性訊號下降到接近隨機：沒有廉價訊號能可靠地捕捉到缺失的跳轉，因此修復方法是解構（到達下一跳的新查詢），而不是更好的門控。
三個基準無法產生通用訊號，因此可交付的是方法，而不是預設值：在自有資料上測量分離度並保留有效的訊號。一個可能泛化的模式是上限：當失敗是可達性而非嵌入混淆時，結果看起來健康，沒有廉價訊號能察覺到。
找到你的訊號
獲勝的訊號不可遷移，但方法可以。在校準分割上，透過分離度評分每個候選訊號：使用roc_auc_score，並取max(auc, 1-auc)作為分離度，無論方向如何。兩條規則：保留分離度高於閾值（0.65是合理的起點）的訊號，並刪除任何與更強訊號冗餘的訊號（絕對相關性高於0.85），因為冗餘訊號增加成本而非資訊。在校準分割上設定閾值；保留測試分割用於最終數字。讓失敗模式首先指引你：一致性訊號適用於術語或識別符號密集的語料庫，分散度和高度適用於精度缺失，然後用數字確認，因為獲勝者是語料庫特定的。
將訊號轉化為門控
閾值將訊號轉化為決策。將所選訊號定向為越低表示越弱，對在弱檢索上觸發高值的訊號（如retriever_divergence）取負，因此單個閾值決定：低於它，將檢索視為弱並升級：
function retrieval_is_weak(result) { return signal(result) < FLOOR; // signal oriented so lower means weaker }
閾值是一個權衡：提高它以捕捉更多弱檢索並升級更多，降低它以減少升級並遺漏更多。一個良好的預設是最大化校準集上的捕捉率減去誤報率（Youden點）；當遺漏成本高於額外升級時，以召回率為目標，例如90%。如果兩個訊號分離良好且幾乎不相關，則任一觸發時門控。
對弱檢索採取行動
升級到什麼是容易的選擇：重排序、重寫、解構、放寬過濾器或交給人工。門控不在乎哪個；昂貴的是是否決定，而它在每個查詢上免費做出決定。升級不能做的事是發明語料庫中不存在的證據：當沒有東西可找時，勝利是檢測到弱檢索並避免從薄弱的證據中回答。可執行的示例將門控連線到完整的自我糾正迴圈。
將此法應用於你的語料庫
這裡的勝者不可移植，但配方是：
定義視窗和每個查詢所需的證據。 在校準分割上標記弱檢索。 基準測試廉價訊號；保留分離的，刪除冗餘的。 將勝出訊號閾值化為門控，僅在其觸發時升級。
檢索質量可以從結果的廉價統計中觀察到，但只有當失敗是這些統計能看到的型別時。在自有資料上測量哪個訊號是那樣的。
相關工作
這項工作與糾正性和適應性檢索並列。區別在於決策來源：已檢索內容的廉價統計，沒有額外的模型呼叫，沒有需要訓練的內容。查詢效能預測有許多檢索後預測器；最便宜的預測器能遷移多遠以及其上限在哪裡是這裡的問題。CRAG訓練檢索評估器，Self-RAG微調生成器以批評自身上下文；兩者都將訓練好的模型放在本工作使用免費統計的位置。Adaptive-RAG在檢索前根據查詢複雜度路由，本文反對這種查詢形狀方法：根據獲得的證據進行門控，而不是問題形狀。充分上下文工作使用LLM判斷而不是免費訊號來詢問同樣的問題。完整的迴圈、糾正措施和評估框架在自我糾正檢索迴圈工作坊中。對於升級到的構建塊，參見晚互動模型、混合搜尋和查詢解構。