跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

多域檢索中的認證域一致性:基於共形風險保證的無標籤逐域污染控制

文章摘要

本文提出C3R,一種即插即用的控制層,通過推斷域後驗,無需查詢時標籤,在可行時認證逐域污染預算,否則棄權而非違規。該方法基於風險控制預測集的兩階段方案,保證最困難域污染減少,實驗表明穩定性好,召回率優於傳統方法。

來源arXiv Machine Learning作者: Jayakumar Manoharan
多域檢索中的認證域一致性:基於共形風險保證的無標籤逐域污染控制
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,研究人員提出了一種名為C3R(Certified Domain Consistency for Multi-Domain Retrieval)的新方法,旨在解決多域檢索中常見的跨域污染問題。在多域混合語料庫中,檢索系統常常返回相關但來自錯誤領域的證據,傳統排名指標難以捕捉這類錯誤,而現有的共形風險控制邊界僅在邊際上起作用,對最差領域的覆蓋不足。C3R作為一種即插即用的控制層,通過推斷域後驗,無需查詢時標籤,在可行時認證逐域污染預算,否則選擇棄權而非無聲違規。在最困難的域上,它能保證污染減少,而非僅僅提供一個寬鬆的邊界。

C3R的核心是一個基於風險控制預測集的兩階段方案。該方案的有限樣本傳輸邊界從推斷域跨至真實域,且鬆弛量完全可估,支持異構預算,並可逆向應用於部署。其總體有效性依賴於該邊界和受控模擬驗證。實驗表明,在數千次重採樣校準中,C3R的認證從未被違反(穩定性結果),而邊際控制在每次抽樣中都會污染最嚴重的域。同時,軟降級方法在相同認證污染水平下比最強校準級聯保留更多召回率。

該方法在多個開放測試平台上可複製,包括一個來自公共聯邦法規的獨立測試平台。通過LLM判斷的下游探針實驗表明,錯誤權威依據隨污染增加而上升,且在控制下下降。C3R層凍結堆棧且與重排序器無關,具有廣泛的適用性。

該研究成果已提交至ACM TOI,相關論文可在arXiv上獲取。

展開要點與分析

文章情報

工程師進階

要點

  • C3R是一種無標籤、逐域污染控制層,可保證最困難域的污染減少。
  • 採用兩階段風險控制預測集方案,有限樣本傳輸邊界可估計並支持異構預算。
  • 在數千次重採樣校準中從未違反認證,而邊際控制每次都污染最嚴重域。
  • 方法在多個開放測試平台及LLM評估中驗證有效,且與重排序器無關。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。