跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

超越并行采样:多样化查询初始化实现智能搜索

文章摘要

本文提出DivInit方法,通过在第一轮查询中引入多样性,解决了标准并行采样在智能搜索中收益递减的问题。该方法无需训练,通过从单个调用中抽取候选查询并选择多样化的子集,显著提升了多跳问答的性能。

来源arXiv AI作者: Sidhaarth Murali, Jo\~ao Coelho, Jingjie Ning, Jo\~ao Magalh\~aes, Bruno Martins, Chenyan Xiong
超越并行采样:多样化查询初始化实现智能搜索
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在人工智能搜索领域,测试时扩展(test-time scaling)是提升性能的关键技术,通常通过增加深度(每轮更多步骤和标记)或广度(更多并行轨迹)来实现。然而,最新的研究论文《Beyond Parallel Sampling: Diverse Query Initialization for Agentic Search》(arXiv:2606.17209)指出,标准的并行采样方法存在收益递减的问题。作者追溯到问题的根源在于第一轮查询的冗余性:当模型在不同并行轨迹中提出相似的初始查询时,它们会检索到重叠的证据,导致后续步骤缺乏多样性,从而限制了搜索的广度。这种情况在多跳问答(multi-hop QA)等需要多个推理步骤的任务中尤为明显。

为了突破这一瓶颈,来自卡内基梅隆大学(CMU)等机构的研究人员提出了DivInit(多样化查询初始化),这是一种无需训练的干预方法,专注于优化第一轮查询。与传统方法独立采样k个查询不同,DivInit首先通过一次调用生成n个候选查询,然后从中挑选出k个(k < n)多样化的查询,分别作为平行轨迹的起点。这样既保证了查询的多样性,又避免了计算资源的浪费。具体来说,研究者使用句子编码器或基于嵌入的相似度度量来评估候选查询的多样性,从而选择覆盖面最广的子集。

实验方面,研究者采用了五个开源权重模型(包括Llama-3、Mistral等)和八个基准数据集,涵盖多跳问答、事实验证等任务。结果显示,DivInit在相同计算量下 consistently 优于标准并行采样,平均提升5到7个百分点。特别是在需要复杂推理的HotpotQA和2WikiMultihop数据集上,提升更为显著。此外,DivInit的计算开销极低,仅需一次额外的前向传播生成n个候选,相对于整体推理成本可以忽略不计。

该研究的意义在于,它揭示了并行采样中一个被忽视的效率瓶颈,并提供了一种简单有效的解决方案。DivInit的代码已在GitHub上开源(https://github.com/cxcscmu/diverse-query-initialization),便于社区复现和集成到现有系统中。未来,团队计划探索将DivInit与深度扩展相结合,以进一步提升智能搜索系统的综合性能,并研究在更广泛的代理任务中的应用。

展开要点与分析

文章情报

工程师进阶

要点

  • 标准并行采样因查询冗余导致收益递减。
  • DivInit通过多样化第一轮查询提升搜索广度。
  • 在五个开源模型和八个基准上平均提升5-7个百分点。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。