Perplexity AI 發佈 WANDR：一個評估研究智能體必須廣度和深度搜索的開放基準
Perplexity AI 發佈了 WANDR，這是一個開放基準，用於評估研究智能體在執行知識工作時的廣泛發現和深度證據驗證能力。WANDR 包含 500 個證據密集型任務，採用可組合的資格鍵層次結構，要求智能體發現大量合格實體併為每個實體提供可核實的引用證據。評分時，系統會重新獲取並檢查每個記錄的引用頁面，確保證據的真實性和完整性。Perplexity 的 Search as Code 系統以軟 F1 0.363 和硬 F1 0.133 領先，但整體表現仍有很大提升空間，表明發現和證據提取是當前智能體的主要瓶頸。WANDR 為市場分析、盡職調查、人才招聘等實際應用提供了可靠的評估工具。
研究智能體如今已能處理真實的知識工作。團隊將競爭圖譜、盡職調查和文獻綜述等任務委託給它們。然而，大多數基準測試僅關注單一答案，而非大量證據支撐的集合。Perplexity 針對這一空白髮布了新的開放基準。
Perplexity 推出了 WANDR（Wide ANd Deep Research）。這是一個開放基準和評估框架，圍繞 500 個現實且具有挑戰性的數據收集任務構建，專為知識工作設計。WANDR 是 Perplexity 深度研究基準 DRACO 的“廣度版”。DRACO 評估智能體能否生成準確、完整、客觀的長篇報告，而 WANDR 則測試其能否構建包含證據的大型集合。
WANDR 的核心是同時測試兩個要求：“廣度”意味着發現大量、通常是開放式的合格實體；“深度”則要求對每個實體進行充分調查，為每個聲明提供證據。兩者結合改變了智能體面臨的問題：幾個令人信服的例子遠遠不夠，基於不完整研究構建的精緻敍述也達不到要求。
為此，WANDR 使用可組合的資格鍵層次結構。一個任務可能要求 company(n) -> employee(m) -> url(k)，即 n 個合格公司、每個公司 m 名員工、每名員工 k 個支持頁面。樹中的每條完整路徑都會獨立驗證。相同的結構可以表示扁平列表、嵌套搜索或矩陣。
為了具體説明這一層次結構，考慮已發佈的 ceo_cfo_appointments 任務。該任務要求至少 70 家美國公司，每家公司必須在 2026 年 3 月 1 日至 4 月 30 日期間首次宣佈 CEO 或 CFO 任命。智能體需要為每個任命提供權威的公告頁面。一個子任務還要求為每家公司提供一個列表權威頁面。總共需要 140 條基於來源的記錄。
WANDR 的任務並非憑空生成，而是來自實際使用模式。它從生產中脱敏的模式出發，通過半自動管道生成任務。管道包含四個階段：種子、創作、准入和策展。它使用交錯式作者-評論家循環和機械性檢查。
因此，中位數任務要求 50 個成員和總共 245 條記錄。在所有 500 個任務中，WANDR 共要求 170,495 條基於來源的記錄。任務按難度分為 167 個低級、166 箇中級和 167 個高級。難度取決於每條記錄的工作量，而非規模本身。
與固定答案密鑰不同，WANDR 根據引用的證據對每個聲明進行評分。每條記錄包含一個條目、URL、選定摘錄和答案。評分器在評估期間重新獲取頁面，檢查頁面是否可用且在範圍內，然後驗證摘錄是否確實出現並支持所有要求。
這些二元記錄裁決隨後向上彙總到層次結構中。精確率衡量系統提交內容的質量，召回率衡量質量調整後的完成度，不足部分用零填充。軟分數對不完整成員給予部分學分，硬分數只計算完整子樹正確的成員。
Perplexity 使用該方法在所有 500 個任務上測試了六個生產系統。其自身的 Search as Code（SaC）系統領先，但沒有任何系統能接近解決該基準。Search as Code 在軟 F1 上達到 0.363，硬 F1 為 0.133，每個任務成本約 5.20 美元，中位時間 14.9 分鐘，消耗 382 萬 tokens。Anthropic 在質量上最接近，但耗時和成本更高。其他系統（如 OpenAI、Exa）更快更便宜，但得分更低。
除了排行榜，四個發現尤為突出：第一，部分進展普遍，但完全覆蓋尚未實現。所有系統的軟召回率都低於軟精確率。第二，規模加劇了問題，深層層次結構尤其困難，因為每個分支都增加了失敗點。第三，發現是第一個結構性瓶頸，頂級發現的完成度在 0.611 到 0.951 之間，不足主要源於未能發現足夠實體，而非重複合併。第四，找到可用頁面通常容易，但將其轉化為完整證據是難點。對於 Perplexity，41.4% 的頁面缺少實質性要求，57.5% 的摘錄未能支持全部聲明。其軟 F1 從僅檢索檢查下的 0.531 降至完全裁決下的 0.363。
值得注意的是，Search as Code 很適合這種任務形狀。智能體可以將檢索、過濾、扇出、連接、去重和停止邏輯表示為程序，確定性計算則在模型上下文之外處理重複操作。
WANDR 的實際應用包括市場分析師需要每個合格競爭對手及其證據；盡職調查團隊需要數十家公司的所有權、高管和融資信息；人才招聘需要許多候選人及其個人資料頁面。WANDR 恰好以專業規模測試這些廣度與深度的收集模式。
由於評分是逐條記錄的，團隊可以精確定位失敗原因。分數樹將損失隔離到發現、豐富或證據提取階段，幫助工程師逐步改進薄弱環節。
關鍵要點：WANDR 是一個包含 500 個證據密集型廣度深度任務的開放基準；任務使用資格鍵層次結構，逐路徑驗證；評分無參考，評分器重新獲取並檢查引用的證據；Perplexity Search as Code 以軟 F1 0.363 和硬 F1 0.133 領先；發現和完整證據仍是最大失敗點。