Perplexity AI 发布 WANDR：一个评估研究智能体必须广度和深度搜索的开放基准

研究智能体如今已能处理真实的知识工作。团队将竞争图谱、尽职调查和文献综述等任务委托给它们。然而，大多数基准测试仅关注单一答案，而非大量证据支撑的集合。Perplexity 针对这一空白发布了新的开放基准。

Perplexity 推出了 WANDR（Wide ANd Deep Research）。这是一个开放基准和评估框架，围绕 500 个现实且具有挑战性的数据收集任务构建，专为知识工作设计。WANDR 是 Perplexity 深度研究基准 DRACO 的“广度版”。DRACO 评估智能体能否生成准确、完整、客观的长篇报告，而 WANDR 则测试其能否构建包含证据的大型集合。

WANDR 的核心是同时测试两个要求：“广度”意味着发现大量、通常是开放式的合格实体；“深度”则要求对每个实体进行充分调查，为每个声明提供证据。两者结合改变了智能体面临的问题：几个令人信服的例子远远不够，基于不完整研究构建的精致叙述也达不到要求。

为此，WANDR 使用可组合的资格键层次结构。一个任务可能要求 company(n) -> employee(m) -> url(k)，即 n 个合格公司、每个公司 m 名员工、每名员工 k 个支持页面。树中的每条完整路径都会独立验证。相同的结构可以表示扁平列表、嵌套搜索或矩阵。

为了具体说明这一层次结构，考虑已发布的 ceo_cfo_appointments 任务。该任务要求至少 70 家美国公司，每家公司必须在 2026 年 3 月 1 日至 4 月 30 日期间首次宣布 CEO 或 CFO 任命。智能体需要为每个任命提供权威的公告页面。一个子任务还要求为每家公司提供一个列表权威页面。总共需要 140 条基于来源的记录。

WANDR 的任务并非凭空生成，而是来自实际使用模式。它从生产中脱敏的模式出发，通过半自动管道生成任务。管道包含四个阶段：种子、创作、准入和策展。它使用交错式作者-评论家循环和机械性检查。

因此，中位数任务要求 50 个成员和总共 245 条记录。在所有 500 个任务中，WANDR 共要求 170,495 条基于来源的记录。任务按难度分为 167 个低级、166 个中级和 167 个高级。难度取决于每条记录的工作量，而非规模本身。

与固定答案密钥不同，WANDR 根据引用的证据对每个声明进行评分。每条记录包含一个条目、URL、选定摘录和答案。评分器在评估期间重新获取页面，检查页面是否可用且在范围内，然后验证摘录是否确实出现并支持所有要求。

这些二元记录裁决随后向上汇总到层次结构中。精确率衡量系统提交内容的质量，召回率衡量质量调整后的完成度，不足部分用零填充。软分数对不完整成员给予部分学分，硬分数只计算完整子树正确的成员。

Perplexity 使用该方法在所有 500 个任务上测试了六个生产系统。其自身的 Search as Code（SaC）系统领先，但没有任何系统能接近解决该基准。Search as Code 在软 F1 上达到 0.363，硬 F1 为 0.133，每个任务成本约 5.20 美元，中位时间 14.9 分钟，消耗 382 万 tokens。Anthropic 在质量上最接近，但耗时和成本更高。其他系统（如 OpenAI、Exa）更快更便宜，但得分更低。

除了排行榜，四个发现尤为突出：第一，部分进展普遍，但完全覆盖尚未实现。所有系统的软召回率都低于软精确率。第二，规模加剧了问题，深层层次结构尤其困难，因为每个分支都增加了失败点。第三，发现是第一个结构性瓶颈，顶级发现的完成度在 0.611 到 0.951 之间，不足主要源于未能发现足够实体，而非重复合并。第四，找到可用页面通常容易，但将其转化为完整证据是难点。对于 Perplexity，41.4% 的页面缺少实质性要求，57.5% 的摘录未能支持全部声明。其软 F1 从仅检索检查下的 0.531 降至完全裁决下的 0.363。

值得注意的是，Search as Code 很适合这种任务形状。智能体可以将检索、过滤、扇出、连接、去重和停止逻辑表示为程序，确定性计算则在模型上下文之外处理重复操作。

WANDR 的实际应用包括市场分析师需要每个合格竞争对手及其证据；尽职调查团队需要数十家公司的所有权、高管和融资信息；人才招聘需要许多候选人及其个人资料页面。WANDR 恰好以专业规模测试这些广度与深度的收集模式。

由于评分是逐条记录的，团队可以精确定位失败原因。分数树将损失隔离到发现、丰富或证据提取阶段，帮助工程师逐步改进薄弱环节。

关键要点：WANDR 是一个包含 500 个证据密集型广度深度任务的开放基准；任务使用资格键层次结构，逐路径验证；评分无参考，评分器重新获取并检查引用的证据；Perplexity Search as Code 以软 F1 0.363 和硬 F1 0.133 领先；发现和完整证据仍是最大失败点。