大規模言語モデル（LLM）エージェントは情報検索（IR）の中心的な存在になりつつあり、検索クエリの発行、回答の統合、さらにはIR評価の判断者としての役割も増えている。これらのエージェントを制御するプロンプトの改善は最適化問題であるが、実際のIR設定では、盲目的な探索というよりもデバッグに近い。エンジニアは、どの行動が失敗したのか、近くのどの行動がまだ機能していたのか、両者の違いは何か、そしてプロンプト編集が回帰を引き起こさずにホールドアウト品質を向上させるかどうかを知る必要がある。
この要求に応えるため、Derek Kohら10名の著者は「対照的リフレクション（Contrastive Reflection）」を提案した。これはエージェント型IRワークフロー向けの反復的プロンプト最適化フレームワークである。このフレームワークはタスク中心の品質定義から出発する。QAエージェントは検索または推論のトレースを公開し、評価エージェントは次元レベルのスコアと根拠を公開する。これらの構造化トレースを用いて、エラーに基づく行動スライスを特定し、同じ領域から近傍の成功例を追加し、教師LLMに的を絞ったプロンプト編集を提案させる。候補編集は検証性能が向上した場合にのみ受け入れられ、オプションで回帰チェックが適用される。研究者らは木ベースのスライスセレクタでフレームワークを実装したが、貢献は木そのものではなく対照的リフレクションループにあると強調している。
公開されているHotpotQA検索拡張QA設定において、木選択の対照的修復を1回行うことで、ホールドアウト正解率が51.4%から60.4%に向上した。失敗のみおよびランダム証拠の変種は改善幅が小さく、以前正しかった例をより多く壊した。軽量な指示のみの比較では、本手法は現代のプロンプト最適化手法に近い性能を示し、MIPROv2は59.4%、GEPAは57.0%であった。この結果は、IRエージェントのための解釈可能な最適化ループであり、プロンプト修復をより検査可能で検証駆動型にすることを目指している。
本論文は6ページ、図1点で、KDD 2026のAgent4IRワークショップに採択される予定である。研究分野は人工知能（cs.AI）で、ACM分類はI.2.7、H.3.3、I.2.6である。論文は2026年6月29日に投稿され、arXiv番号は2606.30840である。