検索は単発のマッチングから対話的な推論へと移行しつつあり、言語エージェントは証拠を繰り返し確認し、クエリを書き換え、再度検索を行うようになっている。こうした多段階のやり取りは、訓練における信用割り当て（credit assignment）の難題を生む。クエリや要約といった実行可能な行動は検索器によって直接評価できる一方、潜在的な推論ステップは直接観測できず、将来の実行可能な行動に影響を与えるを通じてのみ作用する。この非対称性のため、結果レベルの報酬割り当ては信頼できないものになる。同じ最終報酬が、実際には検索の成功を形作っていない推論ステップに信用を与えてしまう可能性があるからだ。
この問題に対して著者らは RICE-PO を提案する。批評家（critic）を必要としない方策最適化フレームワークであり、検索のやり取り自体を局所的な学習信号に変換することを狙う。RICE-PO はまず不確実性の高い実行可能な行動をアンカーとして選び、次に検索指標を用いて局所的な反事実分岐を評価し、最後に「推論から行動への影響」が強く、かつ将来の残余効果が安定している場合に限り、潜在的な推論ステップへ信用を伝播させる。つまり、全体を評価する批評家モデルに頼るのではなく、エージェントと環境の相互作用の構造を利用して、どの部分が本当に学習に値するのかを特定する。
本論文は Mingchen Li 氏ら計6名の著者によるもので、2026年5月25日に arXiv に投稿された。分野は計算と言語（cs.CL）に属し、番号は arXiv:2605.26352v1 である。概要では、検索器がクエリや要約といった実行可能な行動を直接評価できる一方、潜在的な推論ステップは直接観測できず将来の実行可能な行動にしか影響しないため、結果レベルの報酬が不確実になる点が指摘されている。RICE-PO の解決策は、報酬を軌跡全体に漠然と分配するのではなく、やり取りの中の重要な節点に局所化することにある。
実験では、RICE-PO は BRIGHT と BEIR の2つのベンチマークで評価された。同じ検索器の設定の下で、プロンプトベースのエージェントやグループベースの強化学習ベースラインを一貫して上回っている。これらの結果は、エージェントと環境の相互作用の構造そのものが、推論ベースの検索エージェントの訓練に有用な監督信号を提供し得ることを示している。外部報酬や追加の批評家ネットワークだけに依存する必要はないということだ。
より広い意味では、この研究は一つの示唆を与えている。エージェントの中間推論に直接ラベルを付けることが難しい場合、実行可能で評価可能な行動を支点とし、反事実評価と安定性の判断を通じて、学習信号を観測不能な推論部分へ慎重に還元できる。この方法は、結果レベルの報酬による誤った帰属を避けつつ、批評家モデルに伴う追加の複雑さも回避するものであり、対話型検索エージェントの訓練に向けた注目すべき方向性を示している。