Perplexity AI、研究エージェントが広く深く検索する能力を評価するオープンベンチマーク「WANDR」を公開

研究エージェントはすでに実際の知識作業を処理している。チームは競合マッピング、デューデリジェンス、文献レビューなどを任せている。しかし、ほとんどのベンチマークは単一の回答をテストするだけで、大量の証拠に基づくコレクションは対象外である。Perplexity はそのギャップを埋めるために新しいオープンベンチマークをリリースした。

Perplexity は WANDR（Wide ANd Deep Research）を発表した。これはオープンベンチマーク兼評価フレームワークであり、知識作業のための500の現実的で挑戦的なデータ収集タスクを中心に構築されている。WANDR は Perplexity の深層研究ベンチマーク DRACO の「広い」兄弟である。DRACO はエージェントが正確で完全かつ客観的な長文レポートを生成するかどうかを問うのに対し、WANDR は証拠付きの大規模コレクションを構築できるかどうかを問う。

WANDR の核心は、2つの要求を同時にテストすることである。「広い」とは、多数の、しばしばオープンエンドな該当エンティティを発見することを意味する。「深い」とは、各エンティティを十分に調査し、各主張を裏付ける証拠を提供することを意味する。両方を組み合わせると、エージェントの問題が変化する。いくつかの印象的な例だけでは不十分であり、不完全な調査に基づく洗練されたナラティブでも不十分である。

これを実現するために、WANDR は構成可能な資格キー階層を使用する。あるタスクでは、company(n) -> employee(m) -> url(k) を要求する可能性がある。これは、n 社の該当企業、各企業に m 人の従業員、各従業員に k 個のサポートページを意味する。ツリー内の完全なパスはすべて独立して検証される。同じ構造でフラットリスト、ネスト検索、マトリックスを表現できる。

具体例として、リリースされた ceo_cfo_appointments タスクを考えてみよう。このタスクは少なくとも70社の米国企業を要求する。各企業は2026年3月1日から4月30日の間に CEO または CFO の任命を初めて発表したものでなければならない。エージェントは各任命に対して1つの信頼できる任命ページを提供する。サブタスクでは、各企業に1つのリスト権威ページが追加される。合計で140のソースベースのレコードが必要となる。

WANDR のタスクは実際の使用パターンから構築されている。プロダクションから匿名化されたパターンを出発点とし、半自動パイプラインでタスクを生成する。パイプラインはシード、オーサリング、アドミッション、キュレーションの4段階で構成される。インターリーブされたオーサー・クリティックループと機械的リンティングを使用する。

その結果、中央値タスクは50メンバー、全体で245レコードを要求する。500タスク全体で、WANDR は170,495のソースベースレコードを要求する。タスクは難易度に応じて167の低難易度、166の中難易度、167の高難易度に分割される。難易度はスケールだけでなく、レコードあたりの作業量に依存する。

固定の回答キーとは異なり、WANDR は引用された証拠に基づいて各主張を評価する。各レコードには、アイテム、URL、選択された抜粋、回答が含まれる。評価時にグレーダーはページを再取得し、ページが利用可能で範囲内であるかどうかを確認し、抜粋が実際に存在し、すべての要件をサポートしているかを検証する。

これらの二値レコード判定は階層を通じて集約される。適合率はシステムが提出したものの品質を測定し、再現率は品質調整済みの完了度を測定し、不足分はゼロで埋められる。ソフトスコアは不完全なメンバーに部分点を与え、ハードスコアは完全なサブツリーが正しいメンバーのみをカウントする。

Perplexity はこの方法を使用して、500タスクすべてで6つのプロダクションシステムをテストした。自社の Search as Code（SaC）システムがリードしているが、どのシステムもベンチマークを解くにはほど遠い。Search as Code はソフトF1 0.363、ハードF1 0.133を達成し、タスクあたりのコストは約5.20ドル、中央値時間14.9分、消費トークン382万である。Anthropic は品質で最も近いが、より多くの時間とコストがかかる。他のシステム（OpenAI、Exaなど）はより速く安価だが、スコアは低い。

リーダーボード以外に、4つの発見が際立っている。第一に、部分的な進歩は一般的だが、完全なカバレッジは達成されていない。すべてのシステムでソフト再現率がソフト適合率を下回っている。第二に、スケールが問題を著しく悪化させ、深い階層が特に困難であり、各ブランチが失敗点を追加する。第三に、発見が最初の構造的ボトルネックであり、トップレベルの発見完了度は0.611から0.951の範囲で、不足の大部分は重複マージではなく未発見によるものである。第四に、使用可能なページを見つけるのは通常簡単だが、それを完全な証拠に変換するのが難しい。Perplexity の場合、41.4%のページが実質的な要件を欠き、57.5%の抜粋が完全な主張をサポートできていない。そのソフトF1は、検索のみのチェック下での0.531から、完全な判定下での0.363に低下する。

注目すべきは、Search as Code がこのタスク形状に適していることである。エージェントは検索、フィルタリング、ファンアウト、結合、重複排除、停止ロジックをプログラムとして表現でき、決定論的計算がモデルコンテキスト外で反復操作を処理する。

実際の応用として、市場アナリストはすべての該当競合他社とその証拠を必要とし、デューデリジェンスチームは数十社の所有権、経営陣、資金調達情報を必要とし、人材調達は多くの候補者とそれぞれのプロフィールページを必要とする。WANDR はまさにこれらの広く深い収集パターンをプロフェッショナルスケールでテストする。

スコアリングがレコード単位であるため、チームは失敗を正確に特定できる。スコアツリーは損失を発見、強化、または証拠抽出の段階に分離し、エンジニアが一度に1つの弱い段階を改善するのに役立つ。

重要なポイント：WANDR は500の証拠重視の広く深いタスクを持つオープンベンチマークである。タスクは資格キー階層を使用し、パスごとに検証される。スコアリングは参照フリーで、グレーダーは引用された証拠を再取得してチェックする。Perplexity Search as Code がソフトF1 0.363、ハードF1 0.133でリードする。発見と完全な証拠が最大の失敗点である。