代理有(信息)需求
信息检索的核心是满足信息需求,但查询只是其粗略替代。本文探讨如何让AI代理直接表达信息需求,从而提升检索效果。通过BRIGHT基准和Reason-ModernColBERT等方法,研究表明允许代理表达信息需求可带来10%以上的性能提升。
在信息检索领域,一个核心概念是“信息需求”——用户心中真正想找的东西。然而,我们通常用查询来表示这个需求,但查询往往是一种妥协。当AI代理被赋予检索工具时,它们同样面临这个问题:代理也有信息需求,但它们发出的查询只是这种需求的粗略表达。
最近的研究表明,如果允许代理直接表达其信息需求,而不是仅仅依靠查询,检索效果可以得到显著提升。例如,BRIGHT基准测试关注推理密集型检索,传统词法检索器在此类任务上表现不佳。BRIGHT的研究者提出了一种方法:让代理在检索前先进行推理,明确“什么构成相关文档”,然后将这种推理融入检索过程。这种方法类似于传统的TREC TDN(主题、描述、叙事)查询,其中包含对信息需求的详细描述。
后续工作如Reason-ModernColBERT和Reason-IR进一步证明了这一思路的有效性。通过训练检索器处理代理的推理数据,代理检索性能在BrowseComp-Plus等基准上提升了超过10%。这意味着,与其让代理盲目搜索,不如让它明确表达信息需求,再基于此进行更精准的检索。
在实践中,我们可以设计提示(prompt)来引导代理识别问题本质、推理相关文档的特征,并生成查询。这样的系统不仅提高了检索效率,还能更好地满足用户的深层需求。总之,关注代理的信息需求,而非仅仅查询,是提升代理检索系统性能的关键方向。
此外,Direct Corpus Interaction (DCI) 等研究显示,即使使用简单的grep和bash工具,代理也能通过反复查询满足信息需求,尽管查询数量翻倍。这进一步说明,如果能在初期就明确信息需求,检索效率将大幅提升。BRIGHT基准中的LeetCode示例典型地反映了推理密集型检索的挑战:需要找到解法共享同一算法的题目。传统检索器难以胜任,而引入推理数据后,Reason-ModernColBERT等方法在BrowseComp-Plus上取得了10%以上的提升。作者提出的提示模板包括:识别问题本质、逐步推理相关文档应包含的内容、起草答案。这种思路使得代理不仅能生成查询,还能提供查询背后的推理和有效文档的特征。总之,将信息需求显式化是提升代理检索系统性能的关键一步。