AI News HubLIVE
站内改写1 分钟阅读

Dr-DCI:通过动态工作空间扩展实现直接语料库交互的规模化

Dr-DCI 是一种检索器引导的直接语料库交互(DCI)框架,将检索视为代理可调用的操作,通过动态扩展本地工作空间来平衡可扩展性与精确性。在 Browsecomp-Plus 上达到 73.3% 的准确率,优于原始 DCI 和 BM25,并能稳定扩展到 2000 万文档。

来源arXiv AI作者: Yi Lu, Zhuofeng Li, Ping Nie, Haoxiang Zhang, Yuyu Zhang, Kai Zou, Wenhu Chen, Jimmy Lin, Dongfu Jiang, Yu Zhang

在人工智能领域,代理搜索大型语料库时,通常依赖检索器中介接口(如 BM25 或 ColBERT)进行可扩展的候选发现。这些接口虽然能够有效对相关文档进行排序,但它们仅将证据呈现为排名结果或受限的文档视图,这限制了代理重新组织材料以及跨文档验证约束的能力。为了突破这一限制,直接语料库交互(Direct Corpus Interaction, DCI)应运而生,它通过暴露可执行的语料库操作(如搜索、过滤、比较和验证)来赋予代理更大的灵活性。然而,随着语料库规模的扩大,针对全语料库的终端命令逐渐变得缓慢且不稳定,导致性能和效率下降。

针对上述问题,研究团队提出了 Dr-DCI,一种由检索器引导的 DCI 框架。该框架的核心创新在于将检索本身视为代理可以调用的操作,用于动态地扩展本地工作空间。代理不再直接对整个语料库进行操作,而是根据任务需求,逐步将相关文档拉入一个不断演化的工作空间中,并在此空间内执行 DCI 操作。这种设计巧妙地结合了检索级别的召回率和 DCI 风格的精确性:检索保证了探索过程的可扩展性,而 DCI 则保留了有效证据解析所需的本地操作能力。

该框架的实际有效性得到了全面的实验验证。在 Browsecomp-Plus 基准测试中,Dr-DCI 达到了 71.2% 的准确率,相比原始 DCI 和多个消融变体最高提升了 8.3 个百分点,同时显著减少了工具使用量、挂钟时间和估计成本。通过引入工作空间保持的上下文重设机制,准确率进一步提升至 73.3%。在语料库规模扩展实验中,从 10 万文档到 1000 万文档的范围内,Dr-DCI 始终保持有效,而原始 DCI 则变得不稳定,BM25 的表现更是大幅下滑。令人瞩目的是,Dr-DCI 还能够扩展到 2000 万文档级别的 Wiki-18 QA 设置(每个文档对应一个文件),在六个基准测试中取得了平均 63.0 的得分,超越了基于检索的基线和经过训练的搜索代理基线。消融分析进一步表明,排名预览和文档间 DCI 操作是取得优异性能的关键因素。