在人工智能搜索领域,测试时扩展(test-time scaling)是提升性能的关键技术,通常通过增加深度(每轮更多步骤和标记)或广度(更多并行轨迹)来实现。然而,最新的研究论文《Beyond Parallel Sampling: Diverse Query Initialization for Agentic Search》(arXiv:2606.17209)指出,标准的并行采样方法存在收益递减的问题。作者追溯到问题的根源在于第一轮查询的冗余性:当模型在不同并行轨迹中提出相似的初始查询时,它们会检索到重叠的证据,导致后续步骤缺乏多样性,从而限制了搜索的广度。这种情况在多跳问答(multi-hop QA)等需要多个推理步骤的任务中尤为明显。
为了突破这一瓶颈,来自卡内基梅隆大学(CMU)等机构的研究人员提出了DivInit(多样化查询初始化),这是一种无需训练的干预方法,专注于优化第一轮查询。与传统方法独立采样k个查询不同,DivInit首先通过一次调用生成n个候选查询,然后从中挑选出k个(k < n)多样化的查询,分别作为平行轨迹的起点。这样既保证了查询的多样性,又避免了计算资源的浪费。具体来说,研究者使用句子编码器或基于嵌入的相似度度量来评估候选查询的多样性,从而选择覆盖面最广的子集。
实验方面,研究者采用了五个开源权重模型(包括Llama-3、Mistral等)和八个基准数据集,涵盖多跳问答、事实验证等任务。结果显示,DivInit在相同计算量下 consistently 优于标准并行采样,平均提升5到7个百分点。特别是在需要复杂推理的HotpotQA和2WikiMultihop数据集上,提升更为显著。此外,DivInit的计算开销极低,仅需一次额外的前向传播生成n个候选,相对于整体推理成本可以忽略不计。
该研究的意义在于,它揭示了并行采样中一个被忽视的效率瓶颈,并提供了一种简单有效的解决方案。DivInit的代码已在GitHub上开源(https://github.com/cxcscmu/diverse-query-initialization),便于社区复现和集成到现有系统中。未来,团队计划探索将DivInit与深度扩展相结合,以进一步提升智能搜索系统的综合性能,并研究在更广泛的代理任务中的应用。