跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

多域检索中的认证域一致性:基于共形风险保证的无标签逐域污染控制

文章摘要

本文提出C3R,一种即插即用的控制层,通过推断域后验,无需查询时标签,在可行时认证逐域污染预算,否则弃权而非违规。该方法基于风险控制预测集的两阶段方案,保证最困难域污染减少,实验表明稳定性好,召回率优于传统方法。

来源arXiv Machine Learning作者: Jayakumar Manoharan
多域检索中的认证域一致性:基于共形风险保证的无标签逐域污染控制
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,研究人员提出了一种名为C3R(Certified Domain Consistency for Multi-Domain Retrieval)的新方法,旨在解决多域检索中常见的跨域污染问题。在多域混合语料库中,检索系统常常返回相关但来自错误领域的证据,传统排名指标难以捕捉这类错误,而现有的共形风险控制边界仅在边际上起作用,对最差领域的覆盖不足。C3R作为一种即插即用的控制层,通过推断域后验,无需查询时标签,在可行时认证逐域污染预算,否则选择弃权而非无声违规。在最困难的域上,它能保证污染减少,而非仅仅提供一个宽松的边界。

C3R的核心是一个基于风险控制预测集的两阶段方案。该方案的有限样本传输边界从推断域跨至真实域,且松弛量完全可估,支持异构预算,并可逆向应用于部署。其总体有效性依赖于该边界和受控模拟验证。实验表明,在数千次重采样校准中,C3R的认证从未被违反(稳定性结果),而边际控制在每次抽样中都会污染最严重的域。同时,软降级方法在相同认证污染水平下比最强校准级联保留更多召回率。

该方法在多个开放测试平台上可复制,包括一个来自公共联邦法规的独立测试平台。通过LLM判断的下游探针实验表明,错误权威依据随污染增加而上升,且在控制下下降。C3R层冻结堆栈且与重排序器无关,具有广泛的适用性。

该研究成果已提交至ACM TOI,相关论文可在arXiv上获取。

展开要点与分析

文章情报

工程师进阶

要点

  • C3R是一种无标签、逐域污染控制层,可保证最困难域的污染减少。
  • 采用两阶段风险控制预测集方案,有限样本传输边界可估计并支持异构预算。
  • 在数千次重采样校准中从未违反认证,而边际控制每次都污染最严重域。
  • 方法在多个开放测试平台及LLM评估中验证有效,且与重排序器无关。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。