最近、arXivに「Ko-WideSearch: A Korean Breadth-Search Benchmark for Exhaustive Set Enumeration by Web Agents」という論文が掲載され、韓国語の広域検索ベンチマークKo-WideSearchが紹介されました。現在のWebエージェントベンチマークのほとんどは深さ検索（一連の制約を経て単一の答えを見つけること）に重点を置いており、広域検索（閉じた集合を網羅的に列挙し、各項目の属性を埋めること）はほとんど評価されておらず、特に英語以外の言語では顕著です。また、広域ベンチマークの構築は困難で、ゴールドセットの完全性と各セルの正確性を検証するコストは単一の答えを確認するよりもはるかに高くなります。
Ko-WideSearchは、自動合成・検証パイプラインによって構築されました。各タスクは、テレビシーズン、王朝、リーグ、行政区域、選挙などの集合親エンティティを指定し、その完全なメンバーリストと各項目の属性テーブルを要求し、Item-F1、Column-F1、Row-F1で評価します。ベンチマークは、190エンティティ、228テーブル、16カテゴリをカバーし、3つの難易度レベルに分かれています。難易度は、テーブル幅と2次元複合キーの2つの構造的つまみによって独立に調整され、これによりクロスプロダクトのメンバーシップが0％から100％まで段階的に上昇します。正規化を考慮した単一の比較器がゴールド構築と評価の両方で共有されるため、安定した日付やカウント列がフォーマットのみで過剰に除外されることはありません。
20のWebエージェントをテストした結果、一貫した失敗パターンが明らかになりました。エージェントは集合を復元できるものの、行を適切に埋めることはできません（例：Item-F1 92.8、Row-F1 53.7）。難易度が上がると精度は着実に低下し、検索回数を増やしたりコストをかけたりしてもギャップは埋まりません。セルタイプ別に見ると、難しいのは値のフォーマットではなく正しい値を見つけることであり、自由記述のテキストセルで最も多くのエラーが発生し、日付や名前などの標準的な回答セルは通常正しく取得されます。
Ko-WideSearchは、Webエージェントの広域検索性能を評価する重要なベンチマークを提供し、現在のエージェントが網羅的列挙において顕著な弱点を持つことを明らかにし、将来の研究の方向性を示しています。ベンチマークのコードとデータは公開されています。