エージェント検索におけるテスト時スケーリングは、通常、深さ（ターン数やトークン数の増加）または幅（並列ロールアウト数の増加）を拡大することで行われます。しかし、最新の研究「Beyond Parallel Sampling: Diverse Query Initialization for Agentic Search」（arXiv:2606.17209）によれば、標準的な並列サンプリングは収穫逓減を起こすことが明らかになりました。その原因は、最初のターンでのクエリの冗長性にあります。異なるロールアウトでモデルが類似した最初のクエリを発行すると、それらは重複した証拠を取得し、その後のターンはこの共通の情報に基づいてしまうため、多様性が失われます。
この問題を解決するために、カーネギーメロン大学（CMU）などの研究者らはDivInit（多様なクエリ初期化）を提案しました。これは訓練を必要としない介入方法で、最初のターンに焦点を当てています。従来のようにk個の独立した最初のクエリをサンプリングする代わりに、DivInitは単一の呼び出しからn個の候補クエリを生成し、その中からk個（k < n）の多様なクエリを選択し、それらを並列軌道として実行します。これにより、計算資源を有効に活用しながらクエリの多様性が確保されます。多様性の評価には、文エンコーダーや埋め込みベースの類似度測定が使用されます。
実験では、Llama-3やMistralを含む5つのオープンウェイトモデルと、8つのベンチマークデータセット（HotpotQA、2WikiMultihopなど）を用いて評価が行われました。その結果、DivInitは標準的な並列サンプリングを一貫して上回り、特にマルチホップQAタスクでは同じ計算量で平均5〜7ポイントの改善を達成しました。計算オーバーヘッドは最小限で、一度の追加フォワードパスのみで済むため、全体的な推論コストへの影響はごくわずかです。
この研究の重要な点は、並列サンプリングにおける見過ごされてきた効率のボトルネックを明らかにし、シンプルで効果的な解決策を提供したことです。DivInitのコードはGitHubで公開されており（https://github.com/cxcscmu/diverse-query-initialization）、容易に再現・統合できます。将来的には、DivInitを深さスケーリングと組み合わせることで、エージェント検索システムの総合性能をさらに向上させることを目指しています。